image_understand
Analyze images from local paths, URLs, or pasted data to answer questions, extract text via OCR, interpret UI layouts, and debug error screenshots.
Instructions
图像理解工具(单一入口):
何时调用:用户提到看图/截图/界面/报错/OCR/布局,或对话中出现图片附件并询问图片相关问题时,优先调用本工具。
图片来源:粘贴图路径、本地路径、HTTP(S) URL、Data URI。
prompt:直接传入用户原始问题即可;服务端会拼接基础视觉协议与可选 task 指引。
task_type(可选):auto|general|ocr|ui|debug|describe。省略或 auto 时与旧版行为兼容(按 prompt 启发式)。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| prompt | Yes | 用户关于图片的原始问题或简短指令。服务器会补充系统级视觉提示词;无需手写长分析模板。 | |
| task_type | No | 可选任务类型。省略或 auto:兼容旧行为。ocr=文字提取;ui=界面结构;debug=报错/日志截图;describe=简短描述;general=通用分析。 | |
| image_source | Yes | 要分析的图片来源:1) 客户端提供的粘贴路径 2) 本地文件路径 3) HTTP(S) URL 4) data:image/...;base64,...(PNG/JPG/WebP/GIF,最大约 10MB) |