open-computer-use

AIエージェントにデスクトップ上の「目」と「手」を与えるローカルMCPサーバーです。エージェントはアプリのインターフェースを確認し、クリック、入力、スクロール、ドラッグを行うことができます。実際のマウスやキーボードを占有することなく、アクセシビリティレイヤーを通じて操作します。macOS、Windows、Linux上で、完全にお使いのマシン上で動作します。

ツール

3つのプラットフォームすべてで共通の、9つのコアツール：

さらに、ウィンドウレベルのツール5つ — list_windows、get_window、get_window_state、launch_app、activate_window — は、より新しいwindow2 APIに従い、現在Windowsで利用可能です（macOSとLinuxは準備中）。

Related MCP server: servo-mcp

クイックスタート

npm i -g open-computer-use
ocu doctor        # verify the install; macOS: prompts for permissions
ocu call list_apps

macOS 14.では、初回に Accessibility と Screen Recording の権限を一度付与する必要があります。WindowsとLinuxは、ログイン済みのデスクトップセッションでそのまま動作します（LinuxデスクトップではAT-SPI2が必要ですが、GNOMEなどのデスクトップ環境にはデフォルトで同梱されています）。

エージェントを接続する

ocu install-codex-mcp      # Codex CLI & Codex App
ocu install-codex-plugin   # Codex App, plugin form
ocu install-claude-mcp     # Claude Code
ocu install-gemini-mcp     # Gemini CLI (--scope user for global)
ocu install-opencode-mcp   # opencode

その他のMCPクライアント — 手動で追加する場合：

{
  "mcpServers": {
    "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] }
  }
}

ZCode

このリポジトリはZCodeプラグインとして提供されます。一度インストールするだけで、スキルと自動接続されるMCPサーバーの両方が得られます：

1. ランタイムを一度インストールします（ローカルビルドがない場合、プラグインはこのランタイムにフォールバックします）：

   npm i -g open-computer-use

2. ZCodeで設定 → プラグイン管理 → 検出を開き、+ をクリックします。

3. このリポジトリを追加します — GitHub URL opensymph/open-computer-use、またはローカルのチェックアウトディレクトリ。

4. 一覧の Open Computer Use を見つけて 取得 をクリックします。

5. 新しいセッションを開始します。「設定 → MCP」に open-computer-use が接続済みと表示されることを確認したら、あとは 「画面のウィンドウ一覧を表示して」 と尋ねるだけです。

後で削除するには：「インストール済み」タブ → Open Computer Use → アンインストール。

エージェントスキル — エージェントがこれらのツールを効果的に使えるように教える、インストール可能なガイドです：

npx skills add opensymph/open-computer-use -g -a claude-code --skill open-computer-use -y

なぜこれなのか

• 設計上、非侵襲。 合成入力よりもアクセシビリティAPIを優先します。明示的にグローバル入力を有効にしない限り、実際のマウスポインター、フォーカス、フォアグラウンドのアプリはすべて変わらないままです。

• 3つのプラットフォーム、1つの契約 すべてのOSで同じツール名・引数・結果を提供するので、エージェントはプラットフォームごとに分岐する必要がありません。

• 追跡できるカーソル。 macOSでは、操作が目に見えるソフトウェアカーソルを動かすため、エージェントの動きを見て確認できます。

• クライアントなしでスクリプト化可能。 ocu call はシェルから任意のツールを実行し、MCP形式のJSONを出力します。--calls は1つのプロセスでシーケンスを連結します。

• 組み込みの保護 パスワードマネージャーは常に操作を拒否します。アプリの起動、フォーカスの奪取、グローバル入力の注入は、それぞれ明示的な環境変数ゲートの後ろにあります。

プラットフォームの対応状況

ドキュメント

• アーキテクチャ — 3つのランタイムのも仕組み

• ススキルリファレンス — 使用法、インストール、トラブルシューティング

• セキュリティポリシー と 第三者が提供する情報

• コントリビューへの参加

ライセンス

MIT