用视觉模型描述图片内容，返回文字描述。

结构化分析：返回 description + visual_primitives（box/point 坐标与标签）。

在图片中定位目标对象，返回坐标 primitives（让 LLM 输出坐标）。找不到会返回 count=0。

Set-of-Mark 编号网格递归定位：叠加编号标记，模型回答目标所在编号，逐轮裁切放大收敛；final=box（默认）时末轮在局部图上直接输出坐标框，精度远高于整图直接定位。对无 grounding 训练的通用 VLM（MiMo 等）比直接输出坐标更准。

移动光标 + 视觉反馈循环定位：渲染光标位置，模型输出目标相对光标的偏移（dx/dy），逐步逼近目标中心。对相对偏移的估计比绝对坐标更准（参考 GUI-Cursor 交互式搜索范式）。

OCR 提取图片中所有文字块，返回 text + bbox（像素与归一化坐标）。

在图片上画矩形框/圆点/标签（圈画标记），保存标注图并返回路径。

按坐标裁切图片（可边缘外扩），保存并返回路径与新尺寸。

放大图片指定区域（默认整图 2 倍），保存并返回路径。

检查视觉后端配置与连通性。

虚拟标注 + 增强图形推理：把框/点/连线/箭头/圆等标注（不修改原图）注入视觉模型，引导空间关系推理。mode=virtual 用坐标文本注入；mode=overlay 生成半透明叠加图。

截屏（全屏或指定区域），保存 PNG 并返回路径。配合 locate_object/describe 实现「看屏幕」。

屏幕信息：分辨率、DPI、电脑控制开关状态。

鼠标点击（需 VISION_ALLOW_SCREEN_CONTROL=1）。坐标通常来自 locate_object 对截图的定位结果。

仅移动鼠标光标（需 VISION_ALLOW_SCREEN_CONTROL=1）。

鼠标拖拽（需 VISION_ALLOW_SCREEN_CONTROL=1）。

滚轮滚动（需 VISION_ALLOW_SCREEN_CONTROL=1）。正数向上，负数向下。

键盘输入文本（需 VISION_ALLOW_SCREEN_CONTROL=1）。ASCII 直接按键；中文等经剪贴板粘贴。

按键或组合键（需 VISION_ALLOW_SCREEN_CONTROL=1）。如 enter / tab / ctrl+c / alt+tab。

传统 CV 精定位（备选方案）：颜色分割 + 连通域质心（像素级，零依赖，实测 0-4px）或模板匹配。适用简单目标（纯色 UI 元素、几何图形、固定模板）；泛化有限，通用目标请用 locate_object / som_locate。

全屏 UI 结构化解析：OCR 文本块 + 矩形控件检测（button/input）+ 图标候选 + 可选 YOLO 检测器（OmniParser icon_detect，models/icon_detect.pt 存在时自动启用），输出带 id 的结构化元素列表。out_path 保存半透明叠加层渲染图（编号框），可直接交 VLM 做编号选择。

UI 元素定位（文本锚定优先）：目标描述 → 关键词 → OCR 文本匹配 → 控件框（像素级）。按钮/输入框/图标等 UI 点击类目标的备选精定位；返回 matched + 候选列表供 VLM 确认。

VLM 审查并语义修正 UI 检测框：删除误检 / 合并重复 / 语义标注 / 文本锚定补漏。不做坐标微调（坐标级修正由 som/cv 负责）。返回修正后元素列表与变更记录。

多图联合推理（2-4 张）：每张图可带独立标注（items_per_image），联合对比/推理关系（差异、因果、时序、整体结论）。

交互式图形推理协议：原语(locate/measure) → 语义(semantic/hypothesis) → 标注(annotate/verify) 多轮循环。session 跨轮传递状态。

多图对比分析（2-4 张）：A/B 截图对比、设计稿一致性、多帧分析，返回逐项对比结果。

自动扫描图片中的异常/歪斜元件：把区域切成带重叠的块逐块定位候选，再从原图高清裁切逐个验证，输出带置信度与角度/丝印的报告。