MCPControl

Windows-Steuerungsserver für das Model Context Protocol , der programmgesteuerte Kontrolle über Systemvorgänge einschließlich Maus, Tastatur, Fensterverwaltung und Bildschirmaufnahmefunktion bietet.

Hinweis : Dieses Projekt unterstützt derzeit nur Windows.

🔥 Warum MCPControl?

MCPControl schließt die Lücke zwischen KI-Modellen und Ihrem Desktop und ermöglicht eine sichere, programmgesteuerte Steuerung von:

• 🖱️ Mausbewegungen und Klicks

• ⌨️ Tastatureingaben und Tastenkombinationen

• 🪟 Fensterverwaltung

• 📸 Bildschirmaufnahme und -analyse

• 📋 Zwischenablagevorgänge

🔌 Schnellstart

Voraussetzungen

1. Build-Tools installieren (einschließlich VC++-Workload)

   # Run as Administrator - may take a few minutes to complete winget install Microsoft.VisualStudio.2022.BuildTools --override "--wait --passive --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended"

2. Installieren Sie Python (falls noch nicht installiert)

   # Install Python (required for node-gyp) winget install Python.Python.3.12

3. Installieren Sie Node.js

   # Install latest LTS version winget install OpenJS.NodeJS

Installation

1. Installieren Sie das MCPControl-Paket

   npm install -g mcp-control

Konfiguration

MCPControl funktioniert am besten in einer virtuellen Maschine mit einer Auflösung von 1280 x 720 für optimale Klickgenauigkeit.

Konfigurieren Sie Ihren Claude-Client für die Verbindung mit MCPControl über SSE-Transport:

Option 1: Direkte SSE-Verbindung

So stellen Sie eine Verbindung zu einem MCPControl-Server her, der auf einer VM oder einem Remotecomputer ausgeführt wird:

Ersetzen Sie 192.168.1.100:3232 durch die IP-Adresse und den Port Ihres Servers.

Option 2: Lokaler Start mit SSE

So starten Sie MCPControl lokal mit SSE-Transport:

Starten des Servers

Starten Sie zunächst den MCPControl-Server auf Ihrer VM oder Ihrem lokalen Computer:

Der Server zeigt Folgendes an:

• Verfügbare Netzwerkschnittstellen und ihre IP-Adressen

• Die Portnummer (Standard: 3232)

• Verbindungsstatusmeldungen

VM-Setup-Beispiel

1. Starten Sie Ihre Windows-VM mit einer Auflösung von 1280 x 720

2. Installieren Sie MCPControl auf der VM:

   npm install -g mcp-control

3. Führen Sie den Server mit SSE-Transport aus:

   mcp-control --sse

4. Notieren Sie die IP-Adresse der VM (z. B. 192.168.1.100 ).

5. Konfigurieren Sie Claude mit der SSE-URL:

   { "mcpServers": { "MCPControl": { "transport": "sse", "url": "http://192.168.1.100:3232/mcp" } } }

6. Starten Sie Claude neu und MCPControl wird in Ihrem MCP-Menü angezeigt!

🔧 CLI-Optionen

MCPControl unterstützt mehrere Befehlszeilenflags für erweiterte Konfigurationen:

Befehlszeilenargumente

• --sse - SSE-Transport (Server-Sent Events) für den Netzwerkzugriff aktivieren

• --port [number] – Benutzerdefinierten Port angeben (Standard: 3232)

• --https – HTTPS/TLS aktivieren (erforderlich für Remote-Bereitstellungen gemäß MCP-Spezifikation)

• --cert [path] – Pfad zur TLS-Zertifikatsdatei (erforderlich mit --https)

• --key [path] – Pfad zur privaten TLS-Schlüsseldatei (erforderlich mit --https)

Sicherheitshinweis

Gemäß der MCP-Spezifikation ist HTTPS für alle HTTP-basierten Transporte in Produktionsumgebungen obligatorisch . Verwenden Sie beim Einsatz von MCPControl für den Remotezugriff immer das Flag --https mit gültigen TLS-Zertifikaten.

🚀 Beliebte Anwendungsfälle

Assistierte Automatisierung

• Anwendungstests : Delegieren Sie wiederholte UI-Tests an Claude, sodass die KI durch die Anwendungen navigieren und Probleme melden kann.

• Workflow-Automatisierung : Lassen Sie Claude Anwendungen in Ihrem Namen bedienen und sich wiederholende Aufgaben erledigen, während Sie sich auf die kreative Arbeit konzentrieren

• Formularausfüllen : Überlassen Sie Claude die Dateneingabe unter Ihrer Aufsicht

KI-Experimente

• KI-Gaming : Sehen Sie, wie Claude durch visuelles Feedback lernt, einfache Spiele zu spielen

• Visuelles Denken : Testen Sie Claudes Fähigkeit, visuelle Schnittstellen zu navigieren und visuelle Rätsel zu lösen

• Mensch-KI-Zusammenarbeit : Entdecken Sie neue Interaktionsparadigmen, bei denen Claude Ihren Bildschirm sehen und bei komplexen Aufgaben helfen kann

Entwicklung und Tests

• Anwendungsübergreifende Integration : Überbrücken Sie Anwendungen, die normalerweise nicht kommunizieren

• UI-Test-Framework : Erstellen Sie robuste Testszenarien mit visueller Validierung

• Demo-Erstellung : Automatisieren Sie die Erstellung von Produktdemonstrationen

⚠️ WICHTIGER HAFTUNGSAUSSCHLUSS

DIESE SOFTWARE IST EXPERIMENTELL UND POTENZIELL GEFÄHRLICH

Durch die Verwendung dieser Software erkennen Sie Folgendes an und akzeptieren Folgendes:

• Es ist von Natur aus riskant, KI-Modellen über dieses Tool die direkte Kontrolle über Ihren Computer zu geben

• Diese Software kann Ihre Maus, Tastatur und andere Systemfunktionen steuern, was möglicherweise unbeabsichtigte Folgen haben könnte

• Sie verwenden diese Software ausschließlich auf Ihr eigenes Risiko

• Die Entwickler und Mitwirkenden dieses Projekts übernehmen KEINE Verantwortung für Schäden, Datenverluste oder andere Folgen, die durch die Verwendung dieser Software entstehen können

• Dieses Werkzeug sollte nur in kontrollierten Umgebungen mit entsprechenden Sicherheitsmaßnahmen verwendet werden

VERWENDUNG AUF EIGENES RISIKO

🌟 Funktionen

🔧 Automatisierungsanbieter

MCPControl unterstützt mehrere Automatisierungsanbieter für unterschiedliche Anwendungsfälle:

• Keysender (Standard) – Native Windows-Automatisierung mit hoher Zuverlässigkeit

• powershell - Windows PowerShell-basierte Automatisierung für einfachere Vorgänge

• autohotkey - AutoHotkey v2-Skripting für erweiterte Automatisierungsanforderungen

Anbieterkonfiguration

Sie können den Automatisierungsanbieter mithilfe von Umgebungsvariablen konfigurieren:

Oder verwenden Sie die modulare Konfiguration für bestimmte Vorgänge:

Siehe anbieterspezifische Dokumentation:

• AutoHotkey-Anbieter

🛠️ Entwicklungs-Setup

Wenn Sie daran interessiert sind, Beiträge zu leisten oder aus der Quelle zu erstellen, finden Sie ausführliche Anweisungen in CONTRIBUTING.md .

Entwicklungsanforderungen

Um dieses Projekt für die Entwicklung zu erstellen, benötigen Sie:

1. Windows-Betriebssystem (erforderlich für die Keysender-Abhängigkeit)

2. Node.js 18 oder höher (Installation mit dem offiziellen Windows-Installationsprogramm, das Build-Tools enthält)

3. npm-Paketmanager

4. Native Build-Tools:

   • node-gyp: npm install -g node-gyp

   • cmake-js: npm install -g cmake-js

Die Keysender-Abhängigkeit basiert auf Windows-spezifischen nativen Modulen, die diese Build-Tools erfordern.

📋 Projektstruktur

• /src

  • /handlers - Anforderungshandler und Toolverwaltung

  • /tools – Implementierungen der Kernfunktionen

  • /types – TypeScript-Typdefinitionen

  • index.ts – Haupteinstiegspunkt der Anwendung

🔖 Repository-Zweige

• main - Hauptentwicklungszweig mit den neuesten Funktionen und Änderungen

• release – Stabiler Release-Zweig, der das neueste stabile Tag widerspiegelt (derzeit v0.2.0)

Versionsinstallation

Sie können bestimmte Versionen von MCPControl mit npm installieren:

📚 Abhängigkeiten

• @modelcontextprotocol/sdk – MCP SDK für die Protokollimplementierung

• keysender – Nur für Windows verfügbare UI-Automatisierungsbibliothek

• clipboardy - Handhabung der Zwischenablage

• sharp - Bildverarbeitung

• uuid - UUID-Generierung

🚧 Bekannte Einschränkungen

• Fensterminimierungs-/Wiederherstellungsvorgänge werden derzeit nicht unterstützt

• Je nach Konfiguration funktionieren mehrere Bildschirmfunktionen möglicherweise nicht wie erwartet.

• Das Dienstprogramm get_screenshot funktioniert nicht mit der VS Code-Erweiterung Cline. Siehe GitHub-Problem Nr. 1865.

• Für einige Vorgänge sind möglicherweise je nach Zielanwendung erhöhte Berechtigungen erforderlich.

• Es wird nur Windows unterstützt

• MCPControl funktioniert am besten bei einer Auflösung von 1280 x 720 Pixeln auf einem einzelnen Bildschirm. Die Klickgenauigkeit ist für diese Auflösung optimiert. Wir arbeiten an einem Fehler im Offset-/Skalierungsproblem und suchen Tester oder Unterstützung bei der Erstellung von Testtools.

👥 Beitragen

Siehe CONTRIBUTING.md

⚖️ Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert – Einzelheiten finden Sie in der Datei LICENSE.

📖 Referenzen

• Dokumentation des Modellkontextprotokolls