EZComputerCtrl MCP

English

WindowsデスクトップGUI制御および視覚優先のMCPであり、エージェントが壊れやすい画面座標ではなく、セマンティックなオブジェクトを操作できるようにします。

EZComputerCtrlは、現在のデスクトップを構造化された実行可能なインターフェース情報として整理し、上位エージェントがオブジェクトとアクションを選択した後、MCP内部で位置特定、実行、結果の返却を行います。

現在の機能

現在公開されているMCPツール：

1. see

2. click

3. scroll

4. move_to

5. type_text

6. hotkey

現在サポートされている転送方式：

1. stdio

2. streamable-http

3. sse

デフォルトの転送方式：streamable-http

Related MCP server: OmniFlow

インストール

git clone https://github.com/JucieOvo/ezcomputerctrl-mcp.git
cd ezcomputerctrl-mcp
pip install -e .

付属Skill

リポジトリには汎用的なセットアップ用skillが組み込まれています：

skills/install-ezcomputerctrl-mcp/SKILL.md

このskillは、さまざまなエージェントクライアントがそれぞれの環境でローカル設定を迅速に完了できるようにするためのものであり、特定のクライアント形式に依存しません。

典型的な使用方法：

1. エージェントクライアントでクローンしたリポジトリを開きます。

2. /install-ezcomputerctrl-mcpを呼び出すか、エージェントにこのskillを使用させます。

3. エージェントにポート選択、ローカル環境への書き込み、バックグラウンド起動、およびMCP接続設定を完了させます。

ローカル実行設定

マシン固有のローカル実行設定は以下に書き込む必要があります：

.runtime/ezcomputerctrl.env.ps1

サンプルファイルは以下にあります：

scripts/ezcomputerctrl.env.example.ps1

起動スクリプトは、サービスを起動する前にこのファイルを自動的に読み込みます。

よく使われる環境変数：

1. EZCTRL_TRANSPORT

2. EZCTRL_SERVER_HOST

3. EZCTRL_SERVER_PORT

4. EZCTRL_MODEL_NAME

5. EZCTRL_MODEL_BASE_URL

6. EZCTRL_MODEL_API_KEY

VLM設定

推奨ルート：Qwen3.5/3.6 35B-A3B

ここでは架空のモデル名を固定しないでください。常に実際にデプロイされた以下の値を使用してください：

1. EZCTRL_MODEL_NAME

2. EZCTRL_MODEL_BASE_URL

3. EZCTRL_MODEL_API_KEY

現在はOpenAIプロトコル互換のVLMインターフェースをデフォルトで想定しています。

起動と停止

バックグラウンドでの非表示起動：

cscript //nologo scripts\start_ezcomputerctrl_hidden.vbs

このエントリは、デフォルトで非表示ウィンドウとして起動し、常駐プロセスを維持します。

1. 常駐プロセスのPIDは.runtime/ezcomputerctrl.guardian.pidに書き込まれます。

2. 現在の業務プロセスのPIDは.runtime/ezcomputerctrl.pidに書き込まれます。

3. 停止スクリプトが実行されず、現在のWindowsセッションが終了していない限り、業務プロセスが終了しても常駐プロセスが自動的に再起動します。

バックグラウンドサービスの停止：

powershell -NoProfile -ExecutionPolicy Bypass -File scripts\stop_ezcomputerctrl.ps1

停止スクリプトは停止信号を書き込み、現在の業務プロセスを終了させ、.runtime/内の実行時PIDファイルをクリーンアップします。

起動スクリプトの直接実行：

powershell -NoProfile -ExecutionPolicy Bypass -File scripts\run_ezcomputerctrl_http.ps1

常駐モードの直接実行：

powershell -NoProfile -ExecutionPolicy Bypass -File scripts\run_ezcomputerctrl_http.ps1 -KeepAlive

単発起動モードはMCPサービスを一度だけ起動します。常駐モードは、常駐プロセスPIDファイル.runtime/ezcomputerctrl.guardian.pidを別途管理します。

MCPアドレス

デフォルトのホストとポートにおけるstreamable-httpアドレスは以下の通りです：

http://127.0.0.1:8765/mcp

ローカルでポートを変更した場合は、実際のポートに合わせてこのアドレスを置き換えてください。

ディレクトリ構造

.
|-- .runtime/
|-- pyproject.toml
|-- README.md
|-- README_EN.md
|-- scripts/
|   |-- ezcomputerctrl.env.example.ps1
|   |-- run_ezcomputerctrl_http.ps1
|   |-- start_ezcomputerctrl_hidden.vbs
|   `-- stop_ezcomputerctrl.ps1
|-- skills/
|   `-- install-ezcomputerctrl-mcp/
|       `-- SKILL.md
`-- src/
    `-- ezcomputerctrl/

Windowsに関する説明

1. 起動・停止スクリプトはWindows PowerShell 5.1との互換性を優先しています。

2. スクリプトの内容はエンコーディングの問題を減らすため、可能な限りASCIIを優先しています。

3. 非表示起動にはVBScript + PowerShellを使用し、コマンドラインウィンドウが露出して誤って閉じられるのを防いでいます。

現在の制限事項

1. 現在の実装はWindowsデスクトップGUIに焦点を当てており、ゲーム制御シナリオには対応していません。

2. 現在の機能は実際のデスクトップ環境と実際のVLMサービスに依存しています。

3. これは視覚駆動型の制御レイヤーであり、複雑なインターフェースにおけるゼロエラー認識を保証するものではありません。

4. 現在、外部ツールインターフェースは収束させており、安定性と制御性を優先しています。

5. 本ツール起動後、R0レベルのアンチチート機能を持つゲーム（例：Tencent ACE）を実行する場合、BANのリスクがある可能性があります。必ず本ツールを終了し、PCを再起動してから該当するゲームをプレイしてください。本ツールの使用によって生じたゲームアカウントのBAN、制限、その他の損失について、作者およびコミュニティは一切の責任を負いません。