Claude Codex Computer Use

OpenAI Computer Useの既存のインストール環境を通じて、Claude CodeがローカルのmacOSアプリケーションを制御できるようにする、実験的かつ非公式のブリッジです。

このパッケージにはOpenAIのバイナリは含まれていません。ユーザーのMacに既にインストールされているComputer Useクライアントを起動し、Claude Codeとそのクライアントの間にある小さなMCP互換性のギャップを埋めます。

必要条件

• macOS。インストールされているOpenAIランタイムは、現在macOS 14.4以降を必要とします。

• プラグインサポート付きのClaude Code。バージョン2.1.223で確認済みです。

• OpenAI Computer Useがインストールされ、動作しているChatGPTまたはCodex。

• OpenAI Computer Useランタイムに付与されたアクセシビリティおよび画面収録の許可。

ブリッジは、以下の場所でComputer Useクライアントを検索します。

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

CODEX_HOMEが設定されていない場合、デフォルトは~/.codexです。

Related MCP server: mlx-mcp-server

Claude Codeプラグインとしてインストール

Claude Codeセッション内で:

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

またはシェルから:

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

新しいセッションでは、Computer Use SkillとMCPサーバーが自動的に読み込まれます。

インストールを確認するには:

/plugin
/mcp

npmからMCPブリッジをインストール

プラグインのインストールをお勧めします。これにはMCPブリッジとComputer Use Skillの両方が含まれます。npmパッケージは、スタンドアロンのstdio MCPサーバーとしても使用できます。

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

または直接.mcp.jsonエントリとして:

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

このMCPのみのインストールでは、バンドルされたSkillは読み込まれません。MCPクライアントが独自のComputer Use指示を提供する場合を除き、プラグインを優先してください。

使用方法

ClaudeにComputer Useを明示的に使用するよう依頼するか、デスクトップタスクを説明します。

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

バンドルされたSkillは、Claudeに観測可能な状態/アクション/状態のループを使用するよう指示します。

1. get_app_stateでターゲットアプリを読み取ります。

2. 利用可能な場合はアクセシビリティ要素を使用し、スクリーンショットの座標はフォールバックとしてのみ使用します。

3. アクションを実行します。

4. 次のアクションを決定する前に、新しいアプリの状態を取得します。

仕組み

OpenAI Computer Useサービスは、クライアントプロセスの祖先を認証します。Claude Codeから直接MCPクライアントを起動すると、認証されていない送信者として拒否されます。そのため、ブリッジはChatGPTまたはCodexにバンドルされている署名済みのCodex実行可能ファイルをプロセスランチャーとして使用します。

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codexはエージェントとして使用されず、ブリッジによってOpenAIモデルリクエストが行われることはありません。Codexの無効化/無制限の権限プロファイルでcodex sandboxを実行し、署名済みクライアントが通常のキャッシュ、macOSサービス、Unixソケットにアクセスできるようにします。

Computer Useクライアントは、そのMCPクライアントがelicitation機能をアドバタイズすることを要求し、それを介してアプリアクセス承認に応答します。ブリッジは、initializeでその機能が確実に存在するようにし、アプリアクセスelicitationを自動的に受け入れるため、セッションは無人で動作します。スクリーンショット画像ブロックを含む他のすべてのJSON-RPCメッセージは、変更されずに通過します。

Computer Useサービスは、接続されたクライアントを制御されたアプリケーションに対するアクティブなホールドとして扱い、クライアントが終了するとアプリケーションを解放します。Codexは会話の終了時にクライアントを終了しますが、Claude CodeはプラグインのMCPサーバーをセッション全体にわたって生存させ続けます。そのため、ブリッジはトラフィックがない状態が60秒続くとクライアントを終了し、必要に応じてオンデマンドで再起動し、記録されたinitializeハンドシェイクを透過的にリプレイするため、タスク間でアプリが保持されることはありません。

また、サービスはユーザーが開始した停止（オーバーレイのEscキャンセル）をクライアントの現在の「ターン」にスコープしますが、これは長期生存クライアントでは決して終了しません。ツールの結果が、アプリセッションがユーザーによって停止されたことを報告した場合、ブリッジはクライアントをリサイクルし、次のリクエストが同じ停止に再び当たる代わりに新しいセッションを開始するようにします。

設定

環境変数:

署名済みランチャーは以下の順序で検出されます。

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

セキュリティとデータフロー

このパッケージをインストールすると、ClaudeがローカルのComputer Useツールにアクセスできるようになります。これらのツールは、スクリーンショットの読み取り、クリック、タイピング、スクロール、ドラッグ、およびアプリケーションとの対話が可能です。

このブリッジは、意図的に次のことを行います。

• Computer Use MCPのアプリアクセスelicitationを自動的に受け入れます。

• 無制限のCodex権限プロファイルで署名済みクライアントを起動します。

• アクセシビリティテキストとスクリーンショットをMCPツール結果としてClaudeに返します。

• アイドルタイムアウト後にクライアントを解放し、アプリケーションがタスク間で保持されないようにし、必要に応じてオンデマンドで再起動します。

Claude Codeは、それらのツール結果を設定されたモデルプロバイダーに会話の一部として送信する場合があります。この動作がMac上のアプリケーションやデータにとって許容できる場合にのみ、プラグインをインストールしてください。

互換性

初回リリースは以下で確認されました。

OpenAI Computer Useは、安定したサードパーティSDKではなく、内部のデスクトップ統合です。ChatGPT、Codex、またはComputer Useのアップデートにより、バイナリパス、プロセス認証ルール、またはプロトコルの動作が変更される可能性があります。

開発

このブリッジには、実行時のnpm依存関係はありません。

pnpm install
pnpm test
pnpm smoke

pnpm testは偽のComputer Useサーバーを使用し、どこでも安全に実行できます。pnpm smokeは実際のローカルサービスに接続し、list_appsを呼び出し、get_app_stateがテキストとJPEGスクリーンショットの両方を返すことを確認します。

トラブルシューティング

Sender process is not authenticated

Computer Useクライアントが、署名済みのCodexランチャー経由ではなく直接起動されました。/ApplicationsにChatGPTまたはCodexがインストールされていることを確認するか、COMPUTER_USE_CODEX_LAUNCHER_PATHを設定してください。

Computer Useクライアントが見つからない

最初にOpenAI Computer Useを有効にするか再インストールし、その後クライアントが$CODEX_HOME/computer-useの下に存在することを確認してください。

クライアントとサーバーのバージョンの不一致

ChatGPTを終了して再起動し、Computer Useクライアントとランタイムが一緒に更新されるようにしてから、スモークテストを再試行してください。

This application session has been explicitly stopped by the user

誰かがComputer UseオーバーレイでEscキーを押すと、現在のターンのアプリセッションがキャンセルされます。ブリッジは自動的にクライアントをリサイクルするため、準備ができたらClaudeに続行するように依頼するだけです。

ChatGPTがComputer Useの下にアプリをリストし続ける

ChatGPTのComputer Useメニューは、ブリッジがクライアントを解放した後も、アプリを（「使用を停止…」アクションとともに）表示し続けることがあります。サービスはアプリセッションレコードを保持し、後続のターンが新しい承認なしに再開できるようにします。Codex自身のターントラッキングのみがそれを閉じます。外部クライアントには、そのシグナルを送信するサポートされている方法はありません。レコードは単なる台帳管理であり、制御しているクライアントプロセスは存在せず、新しいブリッジセッションには影響しません。ChatGPTの「使用を停止…」アクションでクリアするか、ChatGPTを終了してクリアしてください。

SkyComputerUseClient computer-historyプロセスが残る

これらはChatGPT自身の履歴/記録ヘルパーであり、Computer Useが使用されるたびにChatGPTのcodex app-serverデーモンによって生成され、その後も保持されます。これらはアイドル状態であり、アプリケーションを制御しておらず、このブリッジによって管理されていません。ブリッジが管理するクライアントは、単純なmcp引数で実行され、アイドル解放時に終了します。ヘルパーはChatGPTが終了すると終了します。

errAETimeout: the AppleEvent timed out

Computer Useサービスが時間内にターゲットアプリケーションに到達できませんでした。呼び出しが数分間ブロックされる可能性があります。一度再試行してください。それでも続く場合は、ターゲットアプリケーションを終了して再起動し、最後の手段としてChatGPTを終了して再起動し、Computer Useサービスを再起動してください。

プラグインの変更が反映されない

Claude Codeを再起動するか、/plugin marketplace update songkeysを実行して再インストールしてください。Claude Codeはインストールされたプラグインのキャッシュコピーを実行するため、チェックアウトを編集しても、プラグインが更新されるまで既存のインストールには影響しません。

ライセンスと商標

ブリッジコードはMITライセンスの下で利用可能です。

このプロジェクトは独立しており、OpenAIまたはAnthropicによって提携、承認、または後援されていません。OpenAI、ChatGPT、Codex、Anthropic、Claude、および関連する名称は、それぞれの所有者の商標である場合があります。ユーザーは、自身のOpenAIおよびAnthropicのソフトウェアとアカウントを供給し、使用するライセンスを取得している必要があります。

先行技術

このプロジェクトは、Kimi Code CLI向けの同じブリッジであるkimi-computer-useをミラーリングしています。