AIエージェントの能力を強化！ ✨ PyMCPAutoGUIは、AIエージェント（Cursorやその他のMCP互換環境のエージェントなど）とコンピューターのグラフィカルユーザーインターフェース（GUI）間の橋渡しを提供します。これにより、エージェントは人間のユーザーと同じように、画面👁️を表示し、マウス🖱️とキーボード⌨️を操作し、ウィンドウ🪟と対話できるようになります。
面倒なGUI手動タスクはもう終わりにして、AIに重労働を任せましょう💪。反復的なアクションの自動化、GUIのテスト、強力なAIアシスタントの構築に最適です🤖。
🤖 エージェントを強化: AI エージェントにデスクトップ アプリケーションと直接対話する権限を与えます。
**✅ シンプルな統合：**カーソルエディターなどのMCP対応クライアントとシームレスに連携します。プラグアンドプレイですぐに使えます！
**🚀 使い方は簡単：**シンプルなサーバーコマンドですぐに始められます。本当に、こんなに簡単です。
**🖱️⌨️ 包括的なコントロール:**実績のあるPyAutoGUIとPyGetWindowからの幅広い GUI 自動化機能を提供します。
**🖼️ 画面認識:**スクリーンショットを撮ったり、画面上の画像を見つけたりするためのツールが含まれています。エージェントに見せましょう!
**🪟 ウィンドウ管理：**ウィンドウの位置、サイズ、状態（最小化、最大化）などを制御します。デスクトップを整理整頓しましょう！
**💬 ユーザーインタラクション:**ユーザーとコミュニケーションをとるために、アラート、確認、プロンプトボックスを表示します。
Related MCP server: windows-computer-use-mcp
オペレーティング システム: Windows、macOS、Linux (各 OS でpyautoguiに適切な依存関係が必要です)
Python: 3.11+ 🐍
**MCP クライアント:**カーソル エディター、モデル コンテキスト プロトコル (MCP)をサポートする任意のクライアント
仮想環境を使用すると、プロジェクトの依存関係が整理されます。
# Create and activate a virtual environment (example using venv)
python -m venv .venv
# Windows PowerShell
.venv\Scripts\Activate.ps1
# macOS / Linux bash
source .venv/bin/activate
# Install using pip (from PyPI or local source)
# Make sure your virtual environment is active!
pip install pymcpautogui # Or pip install . if installing from local source(注: pyautoguiは、スクリーンショット用の Linux のscrotのようなシステム依存関係がある可能性があります。OS 固有のインストール要件については、 pyautoguiドキュメントを確認してください。)
インストールが完了したら、ターミナルからサーバーを実行するだけです。
# Make sure your virtual environment is activated!
python -m pymcpautogui.serverサーバーが起動し、接続を待機します（デフォルトはポート6789）。次の出力を確認してください。
INFO: Started server process [XXXXX]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://127.0.0.1:6789 (Press CTRL+C to quit)GUI 自動化の魔法が必要な間は、このターミナルを実行したままにしておいてください! ✨
コーディング ワークフロー内で直接 GUI を自動化するには、PyMCPAutoGUI をカーソル (@ シンボル) に接続します。
**MCP 構成を開く:**カーソルで、コマンド パレット ( Ctrl+Shift+PまたはCmd+Shift+P ) を使用して、「MCP: mcp.json 構成ファイルを開く」を見つけます。
**PyMCPAutoGUI 設定を追加:**この設定をmcp.jsonに追加またはマージします。必要に応じてパスを調整してください（特に Cursor がプロジェクトルートから実行されていない場合）。
{
"mcpServers": {
// ... other MCP server configs if any ...
"PyMCPAutoGUI": {
// Sets the working directory. ${workspaceFolder} is usually correct.
"cwd": "${workspaceFolder}",
// Command to run Python. 'python' works if the venv is active in the terminal
// where Cursor was launched, or specify the full path.
"command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux)
// Arguments to start the server module.
"args": ["-m", "pymcpautogui.server"]
}
// ... other MCP server configs if any ...
}
}(ヒント: mcp.jsonがすでに存在する場合は、 mcpServersオブジェクト内に"PyMCPAutoGUI": { ... }部分を追加するだけです。)
mcp.jsonを保存します。カーソルがサーバーを検出します。
**自動化！**カーソルチャットで@PyMCPAutoGUIを使用します。
例: @PyMCPAutoGUI move_to(x=100, y=200)``@PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1)``@PyMCPAutoGUI screenshot(filename='current_screen.png')``@PyMCPAutoGUI activate_window(title='Notepad')
PyMCPAutoGUI はpyautoguiとpygetwindowのほとんどの関数を公開します。例としては以下が挙げられます。
マウス 🖱️: move_to 、 click 、 move_rel 、 drag_to 、 drag_rel 、 scroll 、 mouse_down 、 mouse_up 、 get_position
キーボード⌨️: write 、 press 、 key_down 、 key_up 、 hotkey
スクリーンショット 🖼️: screenshot 、 locate_on_screen 、 locate_center_on_screen
ウィンドウ 🪟: get_all_titles 、 get_windows_with_title 、 get_active_window 、 activate_window 、 minimize_window 、 maximize_window 、 restore_window 、 move_window 、 resize_window 、 close_window
ダイアログ💬: alert 、 confirm 、 prompt 、 password
設定⚙️: set_pause 、 set_failsafe
完全なリストと詳細については、 pymcpautogui/server.pyファイルを確認するか、MCP クライアントで@PyMCPAutoGUI list_toolsを使用してください。
このプロジェクトはMITライセンスに基づいています。詳細はLICENSEファイルをご覧ください。自動化を楽しみましょう！😄
This server cannot be deployed
MCP server connecting AI agents to 100+ apps (Gmail, Slack, Notion, GitHub) via one-click OAuth.
MCP server for building and testing AI agents with multi-model experimentation and insights.
Hosted MCP server connecting AI assistants to 9,000+ apps and 40,000+ actions via Zapier.
Official MCP server for Agentwork — delegate tasks to AI agents with human-in-the-loop
