observe
Read UI element names, types, and center coordinates from a window without screenshots, including open menus, dropdown values, and offscreen items for reliable element selection.
Instructions
读出窗口里的界面元素(名称、类型、中心坐标),不经过截图。开关带开/关,下拉框带当前值和是否展开,重名的控件标出所属分组;打开着的菜单和下拉选项也会列出(popup=true)。滚动区域里还没滚到的项也会列出(offscreen=true,没有坐标):用 id 点击或 find 点击时会先自动滚动到它。filter 按文字过滤,多个词用 | 隔开。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| limit | No | ||
| filter | No | ||
| region | No | ||
| source | No | auto:先读界面树,读不到(游戏、自绘界面)再用文字识别 | |
| window | No | 窗口标题或应用名的一部分,或 windows 返回的 hwnd;不填就是前台窗口 |