Clara Windows UI MCP

面向游戏窗口、旧版桌面应用以及无法通过 UI Automation 可靠暴露的界面等难点目标，提供仅限本地使用的 Windows UI 自动化 MCP 服务器。

为什么存在

内置的 computer-use 流程很方便，但在处理由游戏引擎或自定义图形管线渲染的窗口时，它可能会力不从心。这个 MCP 走的是更底层的路径：

• 通过 HWND 列举并聚焦窗口

• 通过原生 Win32 API 驱动鼠标和键盘输入

• 将桌面或目标窗口捕获为 PNG 文件

• 通过 MCP stdio 和小型本地 HTTP API 暴露相同能力

Related MCP server: OmniFlow

当前工具集

• list_windows

• get_foreground_window

• focus_window

• capture_screen

• move_mouse

• click_mouse

• press_key

• type_text

视觉基础

src/domain/vision 模块定义了面向调用方的共享视觉契约：

• SceneObservation 携带捕获来源、OCR 和检测结果。

• SceneEvent 为可选的时序变化通知预留空间。

• VisionProfileRegistry 按 applicationId 隔离样本、训练集引用与规则。

捕获与检测的实现有意不属于该基础的一部分。调用方应依赖于场景/事件契约，而非检测器的内部实现。

视觉服务与托盘

原生项目与 Clara Cursor 使用相同的安全会话边界：

ClaraVisionBroker Windows service -> local named pipe -> ClaraVisionTray user-session agent

• 代理持久化高层观察状态（paused 或 observing）并在本地转发。

• 托盘显示该状态，并让用户启动或暂停观察。

• 两个组件都不会捕获桌面，也不会执行自动化。只有在定义目标选择和捕获策略之后，未来的会话 agent 才会接入现有的 opt-in 捕获管线。

以 Release 配置构建 native/ClaraVisionBroker 和 native/ClaraVisionTray，然后在提升的 Command Prompt 中运行 scripts/install-vision-service.cmd，在交互式用户会话中运行 scripts/install-vision-tray.cmd。

运行

npm.cmd install
npm.cmd run build
npm.cmd run start:stdio

本地诊断：

npm.cmd run start:api

架构选择

• 运行模式：stdio、api 或 both

• 部署形态：仅本地

• 认证：无

• 存储：仅将捕获输出为本地文件

• 组织：CQRS 风格的命令与查询，配传输适配器

说明

• 截图写入 captures/ 下。

• 此首版刻意避开 UIA，以便对游戏和性能画布的应用仍然有用。

• 下一个逻辑方向是目标感知匹配，基于模板图像、像素区域或 OCR。