act
Execute actions like click, type, or read on UI elements captured from the screen, enabling direct interaction with desktop apps, browser windows, and OCR-detected components.
Instructions
Выполнить действие над элементом из capture()/find().
action: click | double_click | type | set_value | focus | read | scroll.
text: для action="type" — что напечатать.
value: для action="set_value" — новое значение поля (заменяет целиком).
Для action="read" текст возвращается в поле content.
Бэкенд выбирается по префиксу element_id (u=десктоп, o=OCR, b=браузер).
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| text | No | ||
| value | No | ||
| action | Yes | ||
| element_id | Yes |