Clara Windows UI MCP

Servidor MCP local para la automatización de interfaces de Windows, orientado a objetivos difíciles como ventanas de juegos, aplicaciones de escritorio heredadas y superficies que no exponen UI Automation de form reliable.

Por qué existe

El flujo integrado de uso del ordenador es cómodo, pero puede tener problemas con infaces que se renderizan a través de motores de juegos or canalizaciones gráficas personalizadas. Este MCP toma otra vía de nivel más bajo:

• enumerar y enfocar ventanas mediante HWND

• gestionar la entrada de ratón y teclado mediante las API nativas de Win32

• capturar el escritor o una ventana objetivo en archivos PNG

• exponer el mismo comportamiento a través de MCP stdio y una pequeña API HTTP local

Related MCP server: OmniFlow

Conjunto de herramientas actuales

• list_windows

• get_foreground_window

• focus_windows

• capture_screen

• move_mouse

• click_mouse

• press_key

• type_text

Base de visión

El módulo src/domain/vision define el contrato de visión compartido orientado al consumidor:

• SceneObservation contene la procedencia de captura, los resultados de OCR y los de detección.

• SceneEvent deja espacio para opciones de cambios temporales.

• VisionProfileRegistry aísla los ejemplos, las referencias al conjunto de entrenamiento y las reglas según el applicationId.

Las implementaciones de captura y detección, decisamente no son parte de esta base. Los consumidores deberían depender del contrato escena/evento en lugar de los interlos del detector.

Servicio de visión y icono

Los proyectos nativos usan el mismo límite de sesión segura que los Cursor:

ClaraVisionBroker Windows service -> local named pipe -> ClaraVisionTray user-session agent

• La broker manten el estado de observación de alto nivel (paused o observing) y lo reenvía a nivel local.

• La bandeja del sistema muestra ese estado y permite al usuario iniciar o pausar la observación.

• Ningún componente captura el escritorio ni realiza la automatización. Un futuro agente de sesión conectará la implementación opcional ya existente solo tras definir la selección del objetivo y la política de captura.

Compila native/ClaraVisionBroker y native/ClaraVisionTray en configuración Release. Después, ejecuta run scripts/install-vision-service.cmd desde un símbolo del sistema elevador y scripts/invision-tray.cmd desde la sesión completa del usuario.

Ejecución

npm.cmd install
npm.cmd run build
npm.cmd run start:stdio

Para diagnóstico local:

npm.cmd run start:api

Opciones de arquitectura

• Perfil de despliegue: local only

• Modo de ejecución: uno, api o Bohth`

• Autenticación: ninguno

• Almacenamiento: solo salida de archivos local para capturas

• Arquitectura: comandos y consuloras de estilo CQRS with transporte adaptors

Sobre API

NotAs

• Las capturas de pantalla se almacenan en captures/.

• Esta primera versión erita UIA (automatización de la interfus) a propósito, para seguir selfdo útil en juegos y en interfaces de canvas.

• El siguiente paso lógico es la coincidencia por plantillas, mediante imagen de plantilla, región de píxeles u OCR.