act_sequence
Batch a sequence of desktop UI actions (click, type, key, wait) into one call, returning each step's status and an optional final screenshot to confirm the result without extra round trips.
Instructions
一次调用批量执行一串动作——省往返的关键工具。⭐ 使用判据:凡是下一步不依赖上一步结果的连续动作,一律一次提交;每多一次单独调用,就多一个「模型思考 + 读结果」的来回(实测每轮 30~70 秒,而工具本身只要零点几秒)。只有需要看结果做分支判断时才拆成多次调用。steps 每项含 op 字段:click{ref?,text?,role?,app?,button?,x?,y?} / type{text,ref?,clear_first?} / key{combo} / wait{title_contains?,window_id?,timeout?} / sleep{seconds} / list_windows{} / screenshot{region?,max_side?}。把 screenshot 放在最后一步,可以在同一次调用里拿到「这一串做完之后长什么样」,省掉单独截图的整个来回(确认类截图占实测截图的三分之二)。stop_on_error=true 时某步失败即停止后续。返回每步 ok/message 的 JSON;点击类步骤的 message 里带落点证据(落在哪扇窗、底下什么字、点后活动窗口),据此判断有没有点偏,不必再截图确认。
Input Schema
| Name | Required | Description | Default |
|---|---|---|---|
| steps | Yes | ||
| stop_on_error | No |