claude-computer-use-mcp

Codex の Computer Use エンジンを Claude Code の MCP として使う

Codex 同梱の codex-computer-use.exe をそのまま spawn して、Windows の画面操作（スクショ＋UIAツリー＋入力）を MCP ツールとして公開する薄いラッパー。

🌐 日本語 ・ English ・ 中文

概要

claude-computer-use-mcp は、OpenAI Codex に同梱されている Computer Use エンジン（codex-computer-use.exe）を spawn し、その機能を MCP サーバとして任意の MCP クライアント（Claude Code など）から使えるようにするラッパーです。

エンジン本体は 同梱しません（OpenAI のプロプライエタリ製品のため）。代わりに、お使いのマシンにインストール済みの Codex から exe を見つけて起動します。つまり ローカルに Codex がインストールされている事が前提です。

得られる機能はクローンではなく本物のエンジンそのもの:

• 画面の オーバーレイ表示（操作中インジケータ／アクセントの枠）

• UI Automation ツリー（要素インデックス付き）

• Windows.Graphics.Capture による、ウィンドウが背面に隠れていても撮れるキャプチャ

• 物理 Esc キーで操作を中断

Related MCP server: pov

仕組み

flowchart LR
    A[MCP クライアント] -- JSON-RPC/stdio --> B[index.mjs]
    B -- spawn + 改行区切りJSON --> C[codex-computer-use.exe]
    C -- SendInput / UIA / Graphics.Capture --> D[Windows アプリ群]
    C -- スクショ + UIAツリー --> B --> A

exe の解決順:

どれも見つからない場合は、設定方法を示すエラーを返します。

環境変数

トークン消費を抑えるため、get_window_state は既定で UIAツリー（テキスト）のみを返します。画像は include_screenshot:true を渡した時だけ取得され、その際 CLAUDE_CUA_MAX_DIM まで自動縮小されます。スクショは概ね 幅×高さ÷750 トークンかかるため、要素クリックは UIA の element_index で済ませ、画素を見たい時だけ画像を要求してください。

特徴

必要要件

• Windows（Graphics.Capture / UI Automation / SendInput を使用）

• Node.js 18 以上

• ローカルにインストールされた OpenAI Codex（codex-computer-use.exe を同梱しているもの）

インストール

git clone https://github.com/cUDGk/claude-computer-use-mcp.git
cd claude-computer-use-mcp

Claude Code に MCP として登録（user スコープ例）:

claude mcp add claude-computer-use --scope user -- node "C:/path/to/claude-computer-use-mcp/index.mjs"

Codex の exe を明示指定したい場合は、環境変数を付けて登録:

claude mcp add claude-computer-use --scope user \
  -e CLAUDE_CUA_HELPER="C:/Users/<you>/.codex/plugins/cache/openai-bundled/computer-use/<ver>/node_modules/@oai/sky/bin/windows/codex-computer-use.exe" \
  -- node "C:/path/to/claude-computer-use-mcp/index.mjs"

claude_desktop_config.json 等に直接書く場合:

{
  "mcpServers": {
    "claude-computer-use": {
      "command": "node",
      "args": ["C:/path/to/claude-computer-use-mcp/index.mjs"]
    }
  }
}

使い方

登録後、クライアントから以下のツールが呼べます。

基本フロー: list_windows → activate_window → get_window_state（見る）→ click/type_text 等（操作）→ 終わったら end_computer_use。詳しい運用指針はサーバが MCP の instructions として SKILL.md を提供します。

省トークンオプション（get_window_state）

画面操作は画像トークンが支配的なので、get_window_state に省トークン機能を用意した:

スクショ取得時は長辺を CLAUDE_CUA_MAX_DIM（既定 1280px）まで自動縮小（1920×1080 で約56%減）。縮小しても click/region/OCR の座標は内部で実窓ピクセルへ自動マッピングされるため、スクショで見たままの座標を渡せばクリックは正確に着弾する（スケール補正は不要）。

ブラウザ操作の制限

素の Codex helper は ブラウザ窓に対して URL 許可ポリシーを強制しますが、これは Windows では未対応のためブラウザ窓（Chrome / Edge / Firefox / Brave 等）の操作は拒否されます。ブラウザ自動化には Playwright などの専用 MCP を使ってください。ネイティブアプリのウィンドウには影響ありません。

Attribution

本リポジトリは ラッパーのみを提供します。実際の画面操作を行う codex-computer-use.exe は OpenAI Codex（@oai/sky）に同梱されたプロプライエタリなコンポーネントであり、本リポジトリでは配布していません。その利用は OpenAI の規約に従います。stdio プロトコルは @oai/sky の helper_transport.js を参考に実装しています。

ライセンス

MIT License © 2026 cUDGk（ラッパーコードのみ。codex-computer-use.exe は対象外）