Claude Codex Computer Use

Eine experimentelle, inoffizielle Brücke, die es Claude Code ermöglicht, lokale macOS-Anwendungen über eine bestehende OpenAI Computer Use-Installation zu steuern.

Das Paket enthält keine OpenAI-Binärdateien. Es startet den bereits auf dem Mac des Benutzers installierten Computer Use-Client und überbrückt die kleine MCP-Kompatibilitätslücke zwischen Claude Code und diesem Client.

Anforderungen

• macOS. Die installierte OpenAI-Laufzeitumgebung erfordert derzeit macOS 14.4 oder höher.

• Claude Code mit Plugin-Unterstützung. Version 2.1.223 ist verifiziert.

• ChatGPT oder Codex mit installierter und funktionierender OpenAI Computer Use.

• Barrierefreiheits- und Bildschirmaufzeichnungsberechtigungen, die der OpenAI Computer Use-Laufzeitumgebung gewährt wurden.

Die Brücke sucht nach dem Computer Use-Client unter:

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

Wenn CODEX_HOME nicht gesetzt ist, wird standardmäßig ~/.codex verwendet.

Als Claude Code-Plugin installieren

In einer Claude Code-Sitzung:

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

Oder von der Shell aus:

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

Neue Sitzungen laden das Computer Use Skill und den MCP-Server automatisch.

Überprüfen Sie die Installation mit:

/plugin
/mcp

Die MCP-Brücke von npm installieren

Die Plugin-Installation wird empfohlen, da sie sowohl die MCP-Brücke als auch das Computer Use Skill enthält. Das npm-Paket kann auch als eigenständiger stdio MCP-Server verwendet werden:

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

Oder als direkter .mcp.json-Eintrag:

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

Diese reine MCP-Installation lädt das gebündelte Skill nicht. Bevorzugen Sie das Plugin, es sei denn, der MCP-Client stellt seine eigenen Computer Use-Anweisungen bereit.

Verwendung

Bitten Sie Claude, Computer Use explizit zu verwenden, oder beschreiben Sie eine Desktop-Aufgabe:

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

Das gebündelte Skill weist Claude an, einen beobachtbaren Zustands-/Aktions-/Zustandszyklus zu verwenden:

1. Lesen Sie die Ziel-App mit get_app_state.

2. Verwenden Sie Barrierefreiheitselemente, wenn verfügbar, und Screenshot-Koordinaten nur als Fallback.

3. Führen Sie die Aktion aus.

4. Rufen Sie einen aktuellen App-Zustand ab, bevor Sie die nächste Aktion festlegen.

Funktionsweise

Der OpenAI Computer Use-Dienst authentifiziert die Abstammung des Client-Prozesses. Das direkte Starten seines MCP-Clients von Claude Code wird als nicht authentifizierter Sender abgelehnt. Die Brücke verwendet daher die signierte Codex-Ausführungsdatei, die mit ChatGPT oder Codex gebündelt ist, als Prozessstarter:

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex wird nicht als Agent verwendet und es wird keine OpenAI-Modellanfrage von der Brücke gestellt. Es führt codex sandbox mit Codex' deaktiviertem/unbeschränktem Berechtigungsprofil aus, damit der signierte Client auf seine normalen Caches, macOS-Dienste und Unix-Sockets zugreifen kann.

Der Computer Use-Client erfordert, dass sein MCP-Client die Elicitation-Fähigkeit ankündigt und darüber App-Zugriffsgenehmigungen beantwortet. Die Brücke stellt sicher, dass diese Fähigkeit bei initialize vorhanden ist, und akzeptiert automatisch die App-Zugriffs-Elicitation, sodass Sitzungen unbeaufsichtigt funktionieren. Alle anderen JSON-RPC-Nachrichten, einschließlich Screenshot-Bildblöcke, werden unverändert durchgereicht.

Der Computer Use-Dienst behandelt einen verbundenen Client als aktive Sperre auf den gesteuerten Anwendungen und gibt sie frei, wenn der Client beendet wird. Codex beendet seinen Client am Ende eines Gesprächs, aber Claude Code hält Plugin-MCP-Server für die gesamte Sitzung am Leben. Die Brücke beendet daher den Client nach 60 Sekunden ohne Datenverkehr und startet ihn bei Bedarf neu, wobei der aufgezeichnete initialize-Handshake transparent wiederholt wird, sodass Apps zwischen Aufgaben nicht gehalten werden.

Konfiguration

Umgebungsvariablen:

Der signierte Starter wird in dieser Reihenfolge gefunden:

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

Sicherheit und Datenfluss

Die Installation dieses Pakets gibt Claude Zugriff auf die lokalen Computer Use-Tools, die Screenshots lesen, klicken, tippen, scrollen, ziehen und mit Anwendungen interagieren können.

Die Brücke beabsichtigt:

• akzeptiert automatisch die Computer Use MCP-App-Zugriffs-Elicitation;

• startet den signierten Client mit einem uneingeschränkten Codex-Berechtigungsprofil;

• gibt Barrierefreiheitstext und Screenshots als MCP-Tool-Ergebnisse an Claude zurück;

• gibt den Client nach einem Leerlauf-Timeout frei, sodass Anwendungen zwischen Aufgaben nicht gehalten werden, und startet ihn bei Bedarf neu.

Claude Code kann diese Tool-Ergebnisse als Teil des Gesprächs an den konfigurierten Modellanbieter senden. Installieren Sie das Plugin nicht, wenn dieses Verhalten für die Anwendungen und Daten auf dem Mac nicht akzeptabel ist.

Kompatibilität

Die Erstveröffentlichung wurde verifiziert mit:

OpenAI Computer Use ist eine interne Desktop-Integration und kein stabiles SDK von Drittanbietern. Updates von ChatGPT, Codex oder Computer Use können Binärpfade, Prozessauthentifizierungsregeln oder das Protokollverhalten ändern.

Entwicklung

Die Brücke hat keine npm-Laufzeitabhängigkeiten.

pnpm install
pnpm test
pnpm smoke

pnpm test verwendet einen gefälschten Computer Use-Server und kann überall sicher ausgeführt werden. pnpm smoke verbindet sich mit dem echten lokalen Dienst, ruft list_apps auf und überprüft, dass get_app_state sowohl Text als auch ein JPEG-Screenshot zurückgibt.

Fehlerbehebung

Sender process is not authenticated

Der Computer Use-Client wurde direkt gestartet, anstatt über den signierten Codex-Starter. Stellen Sie sicher, dass ChatGPT oder Codex in /Applications installiert ist, oder setzen Sie COMPUTER_USE_CODEX_LAUNCHER_PATH.

Computer Use-Client fehlt

Aktivieren oder installieren Sie zuerst OpenAI Computer Use neu, und überprüfen Sie dann, ob der Client unter $CODEX_HOME/computer-use vorhanden ist.

Client- und Server-Versionskonflikt

Beenden und starten Sie ChatGPT neu, damit sein Computer Use-Client und die Laufzeitumgebung gemeinsam aktualisiert werden, und wiederholen Sie dann den Smoke-Test.

Plugin-Änderungen werden nicht angezeigt

Starten Sie Claude Code neu oder führen Sie /plugin marketplace update songkeys aus und installieren Sie es neu. Claude Code führt eine zwischengespeicherte Kopie des installierten Plugins aus, sodass das Bearbeiten eines Checkouts eine vorhandene Installation erst nach der Aktualisierung des Plugins beeinflusst.

Lizenz und Marken

Der Brückencode ist unter der MIT-Lizenz verfügbar.

Dieses Projekt ist unabhängig und wird nicht von OpenAI oder Anthropic unterstützt, befürwortet oder gesponsert. OpenAI, ChatGPT, Codex, Anthropic, Claude und verwandte Namen können Marken ihrer jeweiligen Inhaber sein. Benutzer müssen ihre eigene OpenAI- und Anthropic-Software und -Konten bereitstellen und lizenziert sein.

Vorherige Arbeiten

Dieses Projekt spiegelt kimi-computer-use wider, die gleiche Brücke für die Kimi Code CLI.