click
Click UI elements via accessibility ref, text, or coordinates; falls back to calibrated coordinate click and returns deviation feedback.
Instructions
点击一个元素。优先传 ref(来自 get_ui_tree/find_element/get_screen_text);也可传 text(+app) 现场匹配第一个元素。执行采用三级降级:①元素级 do_action(零坐标,首选)→ ②校准坐标点击(兜底)→ ③都失败则提示改用 screenshot。返回结果会标明实际生效的层级。坐标级点击会回报「落点证据」(落在哪扇窗、底下什么字、点后活动窗口)、一张点击前抓的准星小图(红十字 = 你刚才点的那个像素,未缩放、图上 1 像素 = 屏幕 1 像素),以及程序算好的偏差数值:最近文字块离落点多远;若你传了 expect(如 expect="保存"),还会直接给出「未命中,偏差 (+17,-42) 共45px,建议改点其中心 (517,258)」——按建议坐标重试即可,不必再截图估算。另有「点后界面变化」百分比作为命中参考(无变化 = 大概率点空)。preview=false 可关掉这套画面反馈(更省 token,代价是失去位置依据)。灰区应用(无元素树,如 SWT/自绘控件)可传裸坐标 x+y(屏幕绝对坐标,可先用 get_screen_text 读出坐标)直接坐标级点击,无需再借道 shell。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| x | No | ||
| y | No | ||
| app | No | ||
| ref | No | ||
| role | No | ||
| text | No | ||
| action | No | ||
| button | No | ||
| expect | No | ||
| preview | No |