open-computer-use

Ein lokaler MCP-Server, der KI-Agenten auf deinem Desktop Augen und Hände gibt. Agenten können die Oberfläche einer App sehen, klicken, tippen, scrollen und ziehen — über die Barrierefreiheitsebene, ohne deine echte Maus und Tastatur zu übernehmen. Läuft vollständig auf deinem Rechner, unter macOS, Windows und Linux.

Die Werkzeuge

Neun Kernwerkzeuge, identisch auf allen drei Plattformen:

Fünf weitere Werkzeuge auf Fensterebene — list_windows, get_window, get_window_state, launch_app, activate_window — folgen der neueren window2-API und sind derzeit auf Windows verfügbar (macOS und Linux in Arbeit).

Related MCP server: servo-mcp

Schnellstart

npm i -g open-computer-use
ocu doctor        # verify the install; macOS: prompts for permissions
ocu call list_apps

macOS 14+ erfordert, dass Accessibility und Screen Recording einmal erteilt werden. Windows und Linux funktionieren ohne weitere Einrichtung in einer angemeldeten Desktop-Sitzung (Linux-Desktops benötigen AT-SPI2, das GNOME und Co. standard herunterladen können?).

Verbinde deinen Agenten

ocu install-codex-mcp      # Codex CLI & Codex App
ocu install-codex-plugin   # Codex App, plugin form
ocu install-claude-mcp     # Claude Code
ocu install-gemini-mcp     # Gemini CLI (--scope user for global)
ocu install-opencode-mcp   # opencode

Jeder andere MCP-Client — füge ihn manuell hinzu:

{
  "mcpServers": {
    "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] }
  }
}

ZCode

Dieses Repo wird als ZCode-Plugin geliefert — Eine Installation gibt dir den Skill und einen automatisch verbundenen MCP-Server:

1. Installiere die Laufzeit einmalig (das Plugin verwendet sie, wenn kein lokales Build existiert):

   npm i -g open-computer-use

2. Öffne in ZCode Settings → Plugin Management → Discover and klicke auf +.

3. Füge dieses Repository hinzu — die GitHub-URL opensymph/open-computer-use oder ein lokales Verzeichnis des Klons.

4. Finde Open Computer Use in der Liste und klicke auf Get.

5. Starte eine neue Sitzung. Prüfe unter Settings → MCP, dass open-computer-use als verbunden angezeigt wird, und frage dann einfach: „Liste die Fenster auf meinem Bildschirm auf."

Zum Entfernen spâter: Tab Installed → Open Computer Use → Uninstall.

Agent-Skill — eine installierbare Anleitung, die Agenten den effektiven Umgang mit diesen Werkzeugen zeigt:

npm i -g open-computer-use

Warum dieses Projekt?

• Nicht von Grund aus störend. Bevorzuge für Aktionen die Barrierefreiheit-API statt synthetischer Eingaben; deine echte Mausposition und dein Fokus und die Vordergrund-App bleiben erhalten, solange du nicht explizit die globale Eingabe erlaubst.

• Drei Plattformen, ein Vertrag. Gleiche Werkzeugnamen, Argumente und Ergebnisse auf jedem Betriebssystem — Agenten keine App-store-spezifischen Verzweigungen.

• Ein Cursor, den du beobachten kannst. Auf macOS bewegen Aktionen einem sichtbaren Software-Cursor, so kannst du die Aktionen des Agenten mitverfolgen.

• Fürs Skript keinen Client nötig. ocu call führt ein beliebiges Werkzeug aus deiner Shell aus und gibt MCP-Konformes JSON aus; --calls verkettet Sequenzen in einem einzigen Prozess.

• Eingebaute Absicherung. Passwortmanager werden immer abgelehnt. Das Öffnen von Apps, das Stehlen des Fokus und Injizieren von globalen Eingaben stehen jeweils hinter einer expliziten Umgebungsvariablen-Schranke.

Plattform-Status

Doku

• Architektur — wie die drei Laufzeiten funktionieren

• Skill-Referenz — Nutzung, Installation, Fehlerbehebung

• Sicherheitsrichtlinie und Hinweise zu Dritten

• Mitwirkung

Lizenz

MIT

open-computer-use

Ein lokaler MCP-Server, der KI-Agenten auf deinem Desktop Augen und Hände gibt. Agenten können die Oberfläche einer App sehen, klicken, tippen, scrollen und ziehen — über die Barrierefreiheitsebene, ohne deine echte Maus und Tastatur zu übernehmen. Läuft vollständig auf deinem Rechner, unter macOS, Windows und Linux.

Die Werkzeuge

Neun Kernwerkzeuge, identisch auf allen drei Plattformen:

Fünf weitere Werkzeuge auf Fensterebene — list_windows, get_window, get_window_state, launch_app, activate_window — folgen der neueren window2-API und sind derzeit unter Windows verfügbar (macOS und Linux in Arbeit).

Schnellstart

npm i -g open-computer-use
ocu doctor        # verify the install; macOS: prompts for permissions
ocu call list_apps

macOS 14+ verlangt, dass Accessibility und Screen Recording einmal gewährt werden. Windows und Linux funktionieren in einer angemeldeten Desktop-Sitzung ohne weitere Einrichtung (Linux-Desktops benötigen AT-SPI2, das GNOME und Co. standardmäßig mitbringen).

Verbinde deinen Agenten

ocu install-codex-mcp      # Codex CLI & Codex App
ocu install-codex-plugin   # Codex App, plugin form
ocu install-claude-mcp     # Claude Code
ocu install-gemini-mcp     # Gemini CLI (--scope user for global)
ocu install-opencode-mcp   # opencode

Jeder andere MCP-Client — füge ihn manuell hinzu:

{
  "mcpServers": {
    "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] }
  }
}

ZCode

Dieses Repo wird als ZCode-Plugin geliefert — eine Installation gibt dir den Skill und einen automatisch verbundenen MCP-Server:

1. Installiere die Laufzeit einmal (das Plugin greift darauf zurück, wenn kein lokales Build existiert):

   npm i -g open-computer-use

2. Öffne in ZCode Settings → Plugin-Einstellungen? Nein – öffle in ZCode Settings → Plugin Management → Discover und klicke auf +.

3. Füge dieses Repository hinzu — die GitHub-URL opensymph/open-computer-use oder ein lokales Checkout-Verzeichnis.

4. Finde Open Computer Use in der Liste und klicke auf Get.

5. Starte eine neue Sitzung. Prüfen du unter Settings → MCP, dass open-computer-use als verbunden angezeigt wird, und frage dann einfach: „Liste die Fenster auf meinem Bildschirm auf".

Später installierzen: Tab Installed → Open Computer Use → Uninstall.

Agent-Skill — installierbare Anleitung passende, die Agenten den richtigen Umgang mit diesen Werkzeugen vermittelt:

npx skills add opensymph/open-computer-use -g -a claude-code --skill open-computer-use -y

Warum gerade dieses?

• Nicht von der Art, störend. Ziehe die Barrierefreiheits-API synthetischen Eingaben vor; dein echter Zeigerpfeil, dein Fokus und die Vordergrund-App bleiben stehen, insofern du nicht ausdrücklich global Eingaben aktivierst.

• Drei Plattformen, ein Vertrag. Die gleichen Werkzeugnamen, Argumente und Ergebnisse auf jeder Plattform —Agenten brauchen keine plattformabhängigen Verzweigungen.

• Der Agent bei in Geschäft sichtbar. Unter macOS fahren Aktionen einen sichtbaren Software-Cursor aus, du so kannst duSie, was der Agent gerade tut.

• Skriptbar ganz ohne Client. ocu call führt jedes Werkzeug aus deiner Shell aus und gibt MCP-ähnliches JSON zurück; --calls verkindet Abfolgen in einem Prozess.

• Eingebaute Sicherheitsbarrieren. Passwort-Manager 6ichts werden stets abgelehnt. Das Starten von Apps, Fokusübernahme und um bei globalen input* stehen jeweils hinter einem Schalter für Umgebungsvariablen.

Plattform-Status

Dokumentation

• Architekturundröö — so funktionieren die drei Laufzeiten

• Skill-Referenz — Verwendung, Installation, Fehlerbehandlung

• Sicherheitsrichtlinie und Hinweise zu Drittanbietern

• Mitwirken

Lizenz

MIT