get_screen_text
Read on-screen text and coordinates to locate and click UI elements, even in apps without accessibility support.
Instructions
读取屏幕上的文字及其坐标,返回紧凑文本列表(每行 [ref] 文字 @ (x,y) 宽x高)。灰区应用(无元素树:SWT/Java、自绘控件、游戏、远程桌面)首选感知方式——它比 screenshot 省得多:你读文字就能定位,不需要看图、也不需要从图像里估算像素位置再换算回屏幕坐标(那正是灰区操作慢和点偏的主因)。拿到结果后可直接 click(x=..,y=..),或 click(ref=N) 由服务端代点(避免抄错坐标)。scope='window'(默认)只识别当前活动窗口那块区域,23 秒;scope='screen' 整屏,文字密集时要 810 秒,非必要别用。也可传 region=[x,y,w,h] 自己指定区域。注意:坐标是快照,界面变化(切窗/弹新对话框)后请重新调用,不要复用旧 ref。⚠️ 已知限制:文字紧邻深色图标时那一行会识别失败(实测「确认删除该文件吗?」挨着问号图标时被认成乱码)。若发现某行文字明显不对,把 region 收窄到只含该文字的小块再调一次即可(可先用本次返回的该块 bbox 定位)。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| scope | No | window | |
| region | No | ||
| min_conf | No | ||
| max_items | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
| result | Yes |