Clara Windows UI MCP

Локальный MCP-сервер для автоматизации интерфейса Windows, ориентированный на сложные цели: игровые окна, устаревшие настольные приложения и поверхности, не предоставляющие надёжного доступа к UI Automation.

Зачем это нужено

Встроенный механизм computer-use convenient, но может не справляться с окнами, которые отрисовываются через игровые движки или нестандартные графические конвейеры. Этот MCP выбирает более низкоуровневый путь:

• перечисляет и фокусирует окна через HWND

• управляет вводом мыши и клавиатуры через нативные Win32 API

• сохраняет снимки рабочего стolа или целевого окна в PNG-файлы

• предоставляет то же поведение через MCP stdio и небольшой локальный HTTP API

Related MCP server: OmniFlow

Текущий набор инструментов

• list_windows

• get_foreground_window

• focus_window

• capture_screen

• move_mouse

• click_mouse

• press_key

• type_text

Visionмодуль` на осно Vision

Модуль src/domain/vision определяет общий клиентский контракт vision:

• SceneObservation — хранит сведения о процессе снимка, результаты OCR и обнаружения.

• SceneEvent — оставляет место для необязательных изменений во времени.

• VisionProfileRegistry — изолирует примеры, ссылки на обучающие масивы и правил по applicationId.

Реализации захвата и обнаружения намеренно не входят в эти фуndaменты. Потребители должны опираться на контракт сцены/событий, а не на внутреннюю реализацию детектора.

Vision-сервис и трей

Нативные проекты использовают тот же безопасный контур сsession, что и Clara Cursor:

ClaraVisionBroker Windows service -> local named pipe -> ClaraVisionTray user-session agent

• Брокер сохраняет высокоуровневную состtoяние наблюдения (paused или observing) и ретранслируется its локально.

• Трей отображает это состояние и позволяет ползователю заносить или останавливать наблюдение.

• Ни один из компонентов not захватывает рабочий стол и не выполняет автоматизациий. Будущий агент санса подстроится к существующему конвей сборку захвата с явным согласим только после определения целevой выбор и политики захвата.

Соберите native/ClaraVisionBroker and native/ClaraVisionTray в Release. Затем вызывайте scripts/install-vision-service.cmd из вызывнной командной строки и scripts/install-vision-tray.cmd из активированного сеанса.

Запуска

npm.cmd install
npm.cmd run build
npm.cmd run start:stdio

Для локальных диагностик:

npm.cmd run start:api

Архитектурные варианты

• режим запуска: stdio, api или both

• профиль развёртывания: только local

• аутентификация: отсутствует

• хранилitмо: только локальные файлы, только для снимок

• organizация: команды и запросы в стиле CQRS с транспортными адаптерами

Примечания

• Скриншоты записываются в captures/.

• Первая версия сознательно избегает UIA, чтобы остаться полезной для игр и приложений, отрисовываемых через canvas.

• следующий логичный шаг — целвое сопоставление по шаблонном изобронению, пиксельного области или OCR.