ui_parse
Parse full-screen UI into structured elements: OCR text, buttons, inputs, icons, optional YOLO. Outputs ids and numbered overlay for VLM reference.
Instructions
全屏 UI 结构化解析:OCR 文本块 + 矩形控件检测(button/input)+ 图标候选 + 可选 YOLO 检测器(OmniParser icon_detect,models/icon_detect.pt 存在时自动启用),输出带 id 的结构化元素列表。out_path 保存半透明叠加层渲染图(编号框),可直接交 VLM 做编号选择。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| image | Yes | ||
| coords | No | 返回坐标单位:pixel(默认)或 norm(0-1000 归一化) | |
| out_path | No | 保存叠加层渲染图(半透明框+编号,必须位于输出目录内) |