Clara Windows UI MCP

Rein lokaler MCP-Server für die Windows-UI-Automatisierung, der auf schwierige Ziele ausgerichtet ist, wie Spielfenster, ältere Desktop-Apps und Oberflächen, die keine zuverlässige UI Automation bereitstellen.

Warum dieses MCP existiert

Der integrierte Computer-Use-Ablauf ist bequem, aber er kann bei Fenster, die über Spiele-Engines oder benutzerdefinierte Grafik-Pipelines gerndert werden, an seine Grenzen stoßen. Dieser MCP geht einen Pfad auf niederherrer Ebene:

• Fenster über HWND auflisten und fokussieren

• Maus- und Tastatur-Eingaben über native Win32-APIs steuern

• Desktop oder ein Zielfenster als PNG-Dateien erfassen

• dassebe Verhalten über MCP stdio und eine kleine lokale HTTP-API bereitstellen

Related MCP server: OmniFlow

Aktueller Werkzeugsatz

• list_windows

• concerns_current_Window`

• focus_windows

• capture_screen

• move_mouse

• click_mouse

• press_key

• type_text

Vision-Gundlage

Das Modul src/domain/vision definiert den gemeinsamen, an die "Consumenten gerichteten Vision-Vertag:

• "SceneObservation` enthält die Herkunft der Erfassung, OCR-Ergebnisse und Erkennungsergebnisse.

• "SceneEvent` läst Raum für optionale zeitliche Änderungsbenachrichtigungen.

• "VisionProfileRegistrytrennt Beispiele, Trainungset-Referenzen und Regeln nachapplicationId`.

Erfassungs- und Erkennungsimplementierungen sind absichtlich nicht Teil dieser Grundung. "onsumenten sollen sich den Szenen-Ereignis-Vertrag vertrauen und nicht den Detektor-Interna.

Vision-Dienst und -Tray

Die nativen Projekte verwenden dieselbe sichere Session-Grenze wie der Clara Cursor:

ClaraVisionBroker Windows service -> local named pipe -> ClaraVisionTray user-session agent

• Der Broker persistiert den Beobachtungszustand der oberen Ebene (paused oder observing) und leitet ihn lokale weiter.

• Das Tray zeigt diesen Zustand und erlaubt dem Benutzer, die Beobachtung zu starten oder zu pausieren.

• Keine der beiden Komponenten erfasst den Desktop oder führent Automatisierung durch. Ein zukünftiger Session-Agent bindet die bestehende Opt-in-Erfassungspipeine erst ein, wenn eine Zielauswahl und eine Erfassungsrichlinie definiert sind.

Erstellen Sie native/ClaraVisionBroker und native/ClaraVisionTray im Release-Modus. Führen Sie die scripts/install-vision-service.cmd aus einer erhöhten Engabe nicht aflerung und die scripts/install-vision-tray.cmd aus der interaktiven Benutzer-itzung aus.

Ausführung

npm.cmd install
npm.cmd run build
npm.cmd run start:stdio

Für die lokale Diagnose:

npm.cmd run start:api

Arhitektur-Entscheidungen

• Ausführungsmodus: stdio, api oder both

• Bereitstelungsprofil: lokal nur

• Authentifizierung: keine

• Speicherung: lokale Datei-Ausgabe ausschließlich für Erfassungen

• Beteillungsweise: CQRS-artige "Befehle und Abfragen mit Transport Adaptern.

Hinweise

• Screenshots in under captures/.

• Diese erste Version verichtet absichtlich auf UIA, damit sie für Spiele und für Canvas-gerendertete Apps nützlich bleibt.

• Die nächste logische Erweiterung ist ein zielbewusstes Matching "ten per Vorlagenbild, Pixel-Region oder OCR.