PyMCPAutoGUI 🖱️⌨️🖼️ - MCP による GUI 自動化

ライセンス: MIT

AIエージェントの能力を強化！ ✨ PyMCPAutoGUIは、AIエージェント（Cursorやその他のMCP互換環境のエージェントなど）とコンピューターのグラフィカルユーザーインターフェース（GUI）間の橋渡しを提供します。これにより、エージェントは人間のユーザーと同じように、画面👁️を表示し、マウス🖱️とキーボード⌨️を操作し、ウィンドウ🪟と対話できるようになります。

面倒なGUI手動タスクはもう終わりにして、AIに重労働を任せましょう💪。反復的なアクションの自動化、GUIのテスト、強力なAIアシスタントの構築に最適です🤖。

🤔 PyMCPAutoGUI を選ぶ理由は何ですか?

🤖 エージェントを強化: AI エージェントにデスクトップアプリケーションと直接対話する権限を与えます。
**✅ シンプルな統合：**カーソルエディターなどのMCP対応クライアントとシームレスに連携します。プラグアンドプレイですぐに使えます！
**🚀 使い方は簡単：**シンプルなサーバーコマンドですぐに始められます。本当に、こんなに簡単です。
**🖱️⌨️ 包括的なコントロール:**実績のあるPyAutoGUIとPyGetWindowからの幅広い GUI 自動化機能を提供します。
**🖼️ 画面認識:**スクリーンショットを撮ったり、画面上の画像を見つけたりするためのツールが含まれています。エージェントに見せましょう!
**🪟 ウィンドウ管理：**ウィンドウの位置、サイズ、状態（最小化、最大化）などを制御します。デスクトップを整理整頓しましょう！
**💬 ユーザーインタラクション:**ユーザーとコミュニケーションをとるために、アラート、確認、プロンプトボックスを表示します。

Related MCP server: Computer Control MCP

🛠️ サポートされている環境

オペレーティングシステム: Windows、macOS、Linux (各 OS でpyautoguiに適切な依存関係が必要です)
Python: 3.11+ 🐍
**MCP クライアント:**カーソルエディター、モデルコンテキストプロトコル (MCP)をサポートする任意のクライアント

🚀 はじめに - とても簡単です!

1. インストール（推奨：仮想環境を使用！）

仮想環境を使用すると、プロジェクトの依存関係が整理されます。

# Create and activate a virtual environment (example using venv) python -m venv .venv # Windows PowerShell .venv\Scripts\Activate.ps1 # macOS / Linux bash source .venv/bin/activate # Install using pip (from PyPI or local source) # Make sure your virtual environment is active! pip install pymcpautogui # Or pip install . if installing from local source

(注:

2. MCPサーバーの実行

インストールが完了したら、ターミナルからサーバーを実行するだけです。

# Make sure your virtual environment is activated! python -m pymcpautogui.server

サーバーが起動し、接続を待機します（デフォルトはポート6789）。次の出力を確認してください。

INFO: Started server process [XXXXX] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://127.0.0.1:6789 (Press CTRL+C to quit)

GUI 自動化の魔法が必要な間は、このターミナルを実行したままにしておいてください! ✨

✨ カーソルエディターとのシームレスな統合

コーディングワークフロー内で直接 GUI を自動化するには、PyMCPAutoGUI をカーソル (@ シンボル) に接続します。

**MCP 構成を開く:**カーソルで、コマンドパレット ( Ctrl+Shift+PまたはCmd+Shift+P ) を使用して、「MCP: mcp.json 構成ファイルを開く」を見つけます。
**PyMCPAutoGUI 設定を追加:**この設定をmcp.jsonに追加またはマージします。必要に応じてパスを調整してください（特に Cursor がプロジェクトルートから実行されていない場合）。
{ "mcpServers": { // ... other MCP server configs if any ... "PyMCPAutoGUI": { // Sets the working directory. ${workspaceFolder} is usually correct. "cwd": "${workspaceFolder}", // Command to run Python. 'python' works if the venv is active in the terminal // where Cursor was launched, or specify the full path. "command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux) // Arguments to start the server module. "args": ["-m", "pymcpautogui.server"] } // ... other MCP server configs if any ... } }
(ヒント:
mcp.json。カーソルがサーバーを検出します。
**自動化！**カーソルチャットで@PyMCPAutoGUIを使用します。
例: @PyMCPAutoGUI move_to(x=100, y=200)``@PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1)``@PyMCPAutoGUI screenshot(filename='current_screen.png')``@PyMCPAutoGUI activate_window(title='Notepad')

🧰 利用可能なツール

PyMCPAutoGUI はpyautoguiとpygetwindowのほとんどの関数を公開します。例としては以下が挙げられます。

マウス 🖱️: move_to 、 click 、 move_rel 、 drag_to 、 drag_rel 、 scroll 、 mouse_down 、 mouse_up 、 get_position
キーボード⌨️: write 、 press 、 key_down 、 key_up 、 hotkey
スクリーンショット 🖼️: screenshot 、 locate_on_screen 、 locate_center_on_screen
ウィンドウ 🪟: get_all_titles 、 get_windows_with_title 、 get_active_window 、 activate_window 、 minimize_window 、 maximize_window 、 restore_window 、 move_window 、 resize_window 、 close_window
ダイアログ💬: alert 、 confirm 、 prompt 、 password
設定⚙️: set_pause 、 set_failsafe