ui_interact
Perform unified DOM interactions on the current page or active iframe, resolving targets via CSS, accessibility, XPath, or coordinates, and return focused overlay results.
Instructions
在当前页面/活动 iframe 中执行统一 DOM 交互并返回聚焦浮层结果。
分析器返回 CSS 时优先 CSS;否则按 AX role/name/description、XPath、text/
placeholder 依次尝试。x/y 是顶层 viewport 绝对 CSS 像素,只在前述候选都无法
解析时作为可信点击回退。坐标应直接取自 vtable_analysis,带 analysis_id 会在
执行前校验页面、iframe、滚动和布局。expect_input=True 时会验证
本次交互后是否真的出现并聚焦 input/textarea/contenteditable。未显式指定
frame 时优先当前激活的 AntD Tab iframe,再回退顶层文档。分析结果中的
frame="active" / "top" 可固定上下文。默认点击后立即
观察 Portal、消息、下拉和通知,限制 max_results 以控制 MCP token。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| x | No | ||
| y | No | ||
| css | No | ||
| key | No | ||
| name | No | ||
| role | No | ||
| text | No | ||
| frame | No | ||
| value | No | ||
| xpath | No | ||
| action | Yes | ||
| in_iframe | No | ||
| settle_ms | No | ||
| timeout_ms | No | ||
| analysis_id | No | ||
| description | No | ||
| max_results | No | ||
| placeholder | No | ||
| expect_input | No | ||
| observe_after | No |
Output Schema
| Name | Required | Description | Default |
|---|---|---|---|
No arguments | |||