Claude Codex Computer Use

Eine experimentelle, inoffizielle Brücke, die es Claude Code ermöglicht, lokale macOS-Anwendungen über eine bestehende OpenAI Computer Use-Installation zu steuern.

Das Paket enthält keine OpenAI-Binärdateien. Es startet den bereits auf dem Mac des Benutzers installierten Computer Use-Client und überbrückt die kleine MCP-Kompatibilitätslücke zwischen Claude Code und diesem Client.

Voraussetzungen

• macOS. Die installierte OpenAI-Laufzeitumgebung gibt derzeit macOS 14.4 oder neuer an.

• Claude Code mit Plugin-Unterstützung. Version 2.1.223 ist bestätigt.

• ChatGPT oder Codex mit installiertem und funktionierendem OpenAI Computer Use.

• Dem OpenAI Computer Use-Laufzeit müssen Zugänglichkeits- und Bildschirmaufnahmeberechtigungen erteilt worden sein.

Die Brücke sucht nach dem Computer Use-Client unter:

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

Wenn CODEX_HOME nicht gesetzt ist, wird standardmäßig ~/.codex verwendet.

Related MCP server: mlx-mcp-server

Als Claude Code-Plugin installieren

In einer Claude Code-Sitzung:

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

Oder von der Shell aus:

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

Neue Sitzungen laden das Computer Use-Skill und den MCP-Server automatisch.

Überprüfen Sie die Installation mit:

/plugin
/mcp

Die MCP-Brücke von npm installieren

Die Plugin-Installation wird empfohlen, da sie sowohl die MCP-Brücke als auch das Computer Use-Skill enthält. Das npm-Paket kann auch als eigenständiger stdio-MCP-Server verwendet werden:

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

Oder als direkter .mcp.json-Eintrag:

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

Diese reine MCP-Installation lädt das gebündelte Skill nicht. Bevorzugen Sie das Plugin, es sei denn, der MCP-Client liefert seine eigenen Computer Use-Anweisungen.

Verwendung

Bitten Sie Claude explizit, Computer Use zu verwenden, oder beschreiben Sie eine Desktop-Aufgabe:

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

Das gebündelte Skill weist Claude an, einen beobachtbaren Zustand/Aktion/Zustand-Kreislauf zu verwenden:

1. Lesen Sie die Ziel-App mit get_app_state.

2. Verwenden Sie nach Möglichkeit Zugänglichkeitselemente und Screenshot-Koordinaten nur als Rückfallebene.

3. Führen Sie die Aktion aus.

4. Rufen Sie einen aktuellen App-Zustand ab, bevor Sie die nächste Aktion festlegen.

Funktionsweise

Der OpenAI Computer Use-Dienst authentifiziert die Prozessherkunft des Clients. Das direkte Starten seines MCP-Clients von Claude Code wird als nicht authentifizierter Absender abgelehnt. Die Brücke verwendet daher die signierte Codex-Ausführungsdatei, die mit ChatGPT oder Codex gebündelt ist, als Prozessstarter:

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex wird nicht als Agent verwendet und es wird keine OpenAI-Modellanfrage von der Brücke gestellt. Sie führt codex sandbox mit dem deaktivierten/ uneingeschränkten Berechtigungsprofil von Codex aus, sodass der signierte Client auf seine normalen Caches, macOS-Dienste und Unix-Sockets zugreifen kann.

Der Computer Use-Client verlangt, dass sein MCP-Client die Elicitation-Fähigkeit ankündigt und App-Zugriffsgenehmigungen darüber beantwortet. Die Brücke stellt sicher, dass diese Fähigkeit bei initialize vorhanden ist, und akzeptiert die App-Zugriffsaufforderung automatisch, sodass Sitzungen unbeaufsichtigt arbeiten. Alle anderen JSON-RPC-Nachrichten, einschließlich Screenshot-Bildblöcke, werden unverändert durchgereicht.

Der Computer Use-Dienst behandelt einen verbundenen Client als aktive Belegung der gesteuerten Anwendungen und gibt sie frei, wenn der Client beendet wird. Codex beendet seinen Client am Ende einer Unterhaltung, aber Claude Code hält Plugin-MCP-Server für die gesamte Sitzung am Leben. Die Brücke beendet daher den Client nach 60 Sekunden ohne Datenverkehr und startet ihn bei Bedarf neu, wobei der aufgezeichnete initialize-Handshake transparent wiederholt wird, sodass Apps zwischen Aufgaben nicht belegt bleiben.

Der Dienst begrenzt außerdem einen benutzerinitiierten Stopp (das Esc-Abbrechen im Overlay) auf den aktuellen „Turn" des Clients, der bei einem langlebigen Client niemals endet. Wenn ein Werkzeugergebnis meldet, dass die App-Sitzung vom Benutzer gestoppt wurde, startet die Brücke den Client neu, sodass die nächste Anfrage eine neue Sitzung beginnt, anstatt denselben Stopp erneut zu treffen.

Konfiguration

Umgebungsvariablen:

Der signierte Starter wird in dieser Reihenfolge gefunden:

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

Sicherheit und Datenfluss

Die Installation dieses Pakets gibt Claude Zugriff auf die lokalen Computer Use-Werkzeuge, die Screenshots lesen, klicken, tippen, scrollen, ziehen und mit Anwendungen interagieren können.

Die Brücke beabsichtigt:

• die Computer Use MCP-App-Zugriffsaufforderung automatisch zu akzeptieren;

• den signierten Client mit einem uneingeschränkten Codex-Berechtigungsprofil zu starten;

• Zugänglichkeitstext und Screenshots als MCP-Werkzeugergebnisse an Claude zurückzugeben;

• den Client nach einem Leerlauf-Timeout freizugeben, sodass Anwendungen zwischen Aufgaben nicht belegt bleiben, und ihn bei Bedarf neu zu starten.

Claude Code kann diese Werkzeugergebnisse als Teil der Unterhaltung an den konfigurierten Modellanbieter senden. Installieren Sie das Plugin nicht, wenn dieses Verhalten für die Anwendungen und Daten auf dem Mac nicht akzeptabel ist.

Kompatibilität

Die Erstveröffentlichung wurde verifiziert mit:

OpenAI Computer Use ist eine interne Desktop-Integration und kein stabiles SDK eines Drittanbieters. Updates von ChatGPT, Codex oder Computer Use können Binärpfade, Prozessauthentifizierungsregeln oder das Protokollverhalten ändern.

Entwicklung

Die Brücke hat keine npm-Laufzeitabhängigkeiten.

pnpm install
pnpm test
pnpm smoke

pnpm test verwendet einen gefälschten Computer Use-Server und kann überall sicher ausgeführt werden. pnpm smoke verbindet sich mit dem echten lokalen Dienst, ruft list_apps auf und überprüft, ob get_app_state sowohl Text als auch ein JPEG-Screenshot zurückgibt.

Fehlerbehebung

Sender process is not authenticated

Der Computer Use-Client wurde direkt gestartet, anstatt über den signierten Codex-Starter. Stellen Sie sicher, dass ChatGPT oder Codex in /Applications installiert ist, oder setzen Sie COMPUTER_USE_CODEX_LAUNCHER_PATH.

Computer Use-Client fehlt

Aktivieren oder installieren Sie OpenAI Computer Use zuerst neu und überprüfen Sie dann, ob der Client unter $CODEX_HOME/computer-use existiert.

Client- und Server-Versionskonflikt

Beenden Sie ChatGPT und starten Sie es neu, damit der Computer Use-Client und die Laufzeitumgebung gemeinsam aktualisiert werden, und wiederholen Sie dann den Smoke-Test.

This application session has been explicitly stopped by the user

Jemand hat Esc auf dem Computer Use-Overlay gedrückt, was die App-Sitzung für den aktuellen Turn abbricht. Die Brücke startet den Client automatisch neu. Bitten Sie Claude einfach weiterzumachen, wenn Sie bereit sind.

ChatGPT listet die App weiterhin unter Computer Use auf

Das Computer Use-Menü von ChatGPT kann eine App (mit einer Aktion „Stop Using …") weiterhin anzeigen, nachdem die Brücke den Client freigegeben hat. Der Dienst behält seinen App-Sitzungseintrag, damit ein Folgeturn ohne neue Genehmigung fortgesetzt werden kann, und nur Codex' eigene Turn-Verfolgung schließt ihn. Externe Clients haben keine unterstützte Möglichkeit, dieses Signal zu senden. Der Eintrag ist Buchhaltung: Der steuernde Client-Prozess ist weg und neue Brückensitzungen sind nicht betroffen. Löschen Sie ihn mit der Aktion „Stop Using …" in ChatGPT oder durch Beenden von ChatGPT.

SkyComputerUseClient computer-history-Prozesse bleiben bestehen

Dies sind ChatGPTs eigene History-/Aufzeichnungshelfer, die von seinem codex app-server-Daemon erzeugt werden, wenn Computer Use verwendet wird, und danach bestehen bleiben. Sie sind im Leerlauf, halten keine Anwendung unter Kontrolle und werden von dieser Brücke nicht verwaltet. Der von der Brücke verwaltete Client wird mit einem einfachen mcp-Argument ausgeführt und wird bei Leerlauffreigabe beendet. Die Helfer werden beendet, wenn ChatGPT beendet wird.

errAETimeout: the AppleEvent timed out

Der Computer Use-Dienst konnte die Zielanwendung nicht rechtzeitig erreichen. Der Aufruf kann einige Minuten blockieren. Wiederholen Sie es einmal; wenn es bestehen bleibt, beenden Sie die Zielanwendung und starten Sie sie neu, und als letztes Mittel beenden Sie ChatGPT und starten Sie es neu, damit der Computer Use-Dienst neu gestartet wird.

Plugin-Änderungen werden nicht angezeigt

Starten Sie Claude Code neu oder führen Sie /plugin marketplace update songkeys aus und installieren Sie es neu. Claude Code führt eine zwischengespeicherte Kopie des installierten Plugins aus, sodass das Bearbeiten eines Checkouts eine vorhandene Installation erst beeinflusst, wenn das Plugin aktualisiert wird.

Lizenz und Marken

Der Brückencode ist unter der MIT-Lizenz verfügbar.

Dieses Projekt ist unabhängig und wird nicht von OpenAI oder Anthropic unterstützt, gebilligt oder gesponsert. OpenAI, ChatGPT, Codex, Anthropic, Claude und verwandte Namen können Marken ihrer jeweiligen Inhaber sein. Benutzer müssen ihre eigene OpenAI- und Anthropic-Software und -Konten bereitstellen und lizenziert sein, um sie zu nutzen.

Vorarbeiten

Dieses Projekt spiegelt kimi-computer-use wider, die gleiche Brücke für die Kimi Code CLI.