Claude Codex Computer Use

Claude Code が既存の OpenAI Computer Use インストールを通じてローカルの macOS アプリケーションを制御できるようにする、実験的かつ非公式なブリッジです。

このパッケージには OpenAI のバイナリは含まれていません。ユーザーの Mac に既にインストールされている Computer Use クライアントを起動し、Claude Code とそのクライアント間の小さな MCP 互換性ギャップを埋めます。

必要条件

• macOS。インストールされる OpenAI ランタイムは現在 macOS 14.4 以降を要求しています。

• プラグイン対応の Claude Code。バージョン 2.1.223 で動作確認済み。

• OpenAI Computer Use がインストールされ、動作している ChatGPT または Codex。

• OpenAI Computer Use ランタイムに付与されたアクセシビリティおよび画面収録の許可。

ブリッジは以下の場所で Computer Use クライアントを探します：

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

CODEX_HOME が設定されていない場合、デフォルトは ~/.codex です。

Claude Code プラグインとしてインストール

Claude Code セッション内で：

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

またはシェルから：

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

新しいセッションは自動的に Computer Use スキルと MCP サーバーを読み込みます。

インストールを確認するには：

/plugin
/mcp

npm から MCP ブリッジをインストール

プラグインインストールをお勧めします。MCP ブリッジと Computer Use スキルの両方が含まれているからです。npm パッケージはスタンドアロンの stdio MCP サーバーとしても使用できます：

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

または直接 .mcp.json エントリとして：

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

この MCP のみのインストールではバンドルされたスキルは読み込まれません。MCP クライアントが独自の Computer Use 指示を提供する場合を除き、プラグインをお勧めします。

使い方

Claude に Computer Use を明示的に使用するよう依頼するか、デスクトップタスクを説明します：

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

バンドルされたスキルは、Claude に観測可能な状態／アクション／状態のループを使用するよう指示します：

1. get_app_state でターゲットアプリを読み取る。

2. 利用可能な場合はアクセシビリティ要素を使用し、スクリーンショットの座標はフォールバックとしてのみ使用する。

3. アクションを実行する。

4. 次のアクションを決定する前に新しいアプリ状態を取得する。

仕組み

OpenAI Computer Use サービスはクライアントプロセスの親子関係を認証します。Claude Code から直接 MCP クライアントを起動すると、認証されていない送信者として拒否されます。そのためブリッジは、ChatGPT または Codex にバンドルされている署名済みの Codex 実行可能ファイルをプロセスランチャーとして使用します：

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex はエージェントとして使用されず、ブリッジによる OpenAI モデルリクエストも行われません。署名済みクライアントが通常のキャッシュ、macOS サービス、Unix ソケットにアクセスできるよう、Codex の無効化／無制限の権限プロファイルで codex sandbox を実行します。

Computer Use クライアントは、MCP クライアントが elicitation ケイパビリティを通知することを要求し、その機能を通じてアプリアクセス承認に応答します。ブリッジは initialize 時にそのケイパビリティが存在することを保証し、アプリアクセスのelicitationを自動的に承認するため、セッションは無人で動作します。他のすべての JSON-RPC メッセージ（スクリーンショット画像ブロックを含む）は変更されずに通過します。

Computer Use サービスは、接続されたクライアントを制御中のアプリケーションに対するアクティブな保持と見なし、クライアントが終了するとアプリケーションを解放します。Codex は会話の終了時にクライアントを終了しますが、Claude Code はプラグイン MCP サーバーをセッション全体で維持します。そのためブリッジは、トラフィックがない状態が 60 秒続くとクライアントを終了し、必要に応じて透過的に記録された initialize ハンドシェイクを再生して再起動します。これにより、タスク間でアプリケーションが保持されないようにします。

設定

環境変数：

署名済みランチャーは以下の順序で検出されます：

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

セキュリティとデータフロー

このパッケージをインストールすると、Claude がローカルの Computer Use ツールにアクセスできるようになります。これらのツールはスクリーンショットの読み取り、クリック、タイピング、スクロール、ドラッグ、アプリケーションとの操作が可能です。

ブリッジは意図的に：

• Computer Use MCP アプリアクセス elicitation を自動的に承認します。

• 署名済みクライアントを無制限の Codex 権限プロファイルで起動します。

• アクセシビリティテキストとスクリーンショットを MCP ツール結果として Claude に返します。

• アイドルタイムアウト後にクライアントを解放し、タスク間でアプリケーションが保持されないようにし、必要に応じて再起動します。

Claude Code はそれらのツール結果を会話の一部として設定されたモデルプロバイダーに送信する可能性があります。Mac 上のアプリケーションやデータに対してその動作が許容されない限り、プラグインをインストールしないでください。

互換性

初回リリースでは以下で動作確認済み：

OpenAI Computer Use は安定したサードパーティ SDK ではなく、内部のデスクトップ統合機能です。ChatGPT、Codex、または Computer Use の更新により、バイナリパス、プロセス認証ルール、プロトコル動作が変更される可能性があります。

開発

ブリッジには npm ランタイム依存関係はありません。

pnpm install
pnpm test
pnpm smoke

pnpm test は偽の Computer Use サーバーを使用し、どこでも安全に実行できます。pnpm smoke は実際のローカルサービスに接続し、list_apps を呼び出し、get_app_state がテキストと JPEG スクリーンショットの両方を返すことを確認します。

トラブルシューティング

Sender process is not authenticated

Computer Use クライアントが署名済みの Codex ランチャー経由ではなく直接起動されました。ChatGPT または Codex が /Applications にインストールされていることを確認するか、COMPUTER_USE_CODEX_LAUNCHER_PATH を設定してください。

Computer Use クライアントが見つからない

まず OpenAI Computer Use を有効にするか再インストールし、その後クライアントが $CODEX_HOME/computer-use 以下に存在することを確認してください。

クライアントとサーバーのバージョンの不一致

ChatGPT を終了して再起動し、Computer Use クライアントとランタイムを一緒に更新してから、スモークテストを再試行してください。

プラグインの変更が反映されない

Claude Code を再起動するか、/plugin marketplace update songkeys を実行して再インストールしてください。Claude Code はインストールされたプラグインのキャッシュコピーを実行するため、チェックアウトを編集してもプラグインが更新されるまで既存のインストールに影響しません。

ライセンスと商標

ブリッジコードは MIT ライセンス の下で利用可能です。

このプロジェクトは独立しており、OpenAI または Anthropic との提携、承認、スポンサーはありません。OpenAI、ChatGPT、Codex、Anthropic、Claude、および関連する名称は、各所有者の商標である可能性があります。ユーザーは自身の OpenAI および Anthropic のソフトウェアとアカウントを提供し、使用するためのライセンスを取得する必要があります。

先行事例

このプロジェクトは kimi-computer-use を参考にしています。これは Kimi Code CLI 向けの同じブリッジです。