PyMCPAutoGUI 🖱️⌨️🖼️ - Automatización de GUI mediante MCP

Licencia: MIT

¡Potencia al máximo las capacidades de tu agente de IA! ✨ PyMCPAutoGUI conecta tus agentes de IA (como los de Cursor u otros entornos compatibles con MCP) con la interfaz gráfica de usuario (GUI) de tu ordenador. Permite que tu agente vea la pantalla 👁️, controle el ratón 🖱️ y el teclado ⌨️ e interactúe con las ventanas 🪟, ¡igual que un usuario humano!

Olvídate de las tediosas tareas manuales de la interfaz gráfica y deja que tu IA se encargue del trabajo pesado 💪. Perfecto para automatizar acciones repetitivas, probar interfaces gráficas o crear potentes asistentes de IA 🤖.

🤔 ¿Por qué elegir PyMCPAutoGUI?

🤖 Empodere a sus agentes: brinde a sus agentes de IA el poder de interactuar directamente con las aplicaciones de escritorio.
✅ Integración sencilla: Funciona a la perfección con clientes compatibles con MCP, como el editor de cursores. ¡Listo para usar!
🚀 Fácil de usar: Comienza con un simple comando de servidor. ¡ Así de fácil!
🖱️⌨️ Control integral: ofrece una amplia gama de funciones de automatización de GUI desde las probadas PyAutoGUI y PyGetWindow .
🖼️ Percepción de pantalla: incluye herramientas para tomar capturas de pantalla y ubicar imágenes en la pantalla. ¡Deja que tu agente lo vea !
🪟 Administración de ventanas: Controla la posición, el tamaño, el estado (minimizar, maximizar) y más de las ventanas. ¡Ordena tu escritorio!
💬 Interacción del usuario: Muestra cuadros de alerta, confirmación y aviso para comunicarte con el usuario.

Related MCP server: Computer Control MCP

🛠️ Entornos compatibles

Sistemas operativos: Windows, macOS, Linux (requiere dependencias apropiadas para pyautogui en cada sistema operativo)
Python: 3.11+ 🐍
Clientes MCP: Editor de cursor, cualquier cliente compatible con el Protocolo de contexto de modelo (MCP)

🚀 Cómo empezar: ¡es súper fácil!

1. Instalación (Recomendado: ¡Utilice un entorno virtual!)

El uso de un entorno virtual mantiene ordenadas las dependencias de su proyecto.

# Create and activate a virtual environment (example using venv) python -m venv .venv # Windows PowerShell .venv\Scripts\Activate.ps1 # macOS / Linux bash source .venv/bin/activate # Install using pip (from PyPI or local source) # Make sure your virtual environment is active! pip install pymcpautogui # Or pip install . if installing from local source

(Nota:

2. Ejecución del servidor MCP

Una vez instalado, simplemente ejecute el servidor desde su terminal:

# Make sure your virtual environment is activated! python -m pymcpautogui.server

El servidor se iniciará y escuchará las conexiones (el puerto predeterminado es el 6789). Busque este resultado:

INFO: Started server process [XXXXX] INFO: Waiting for application startup. INFO: Application startup complete. INFO: Uvicorn running on http://127.0.0.1:6789 (Press CTRL+C to quit)

¡Mantén esta terminal en funcionamiento mientras necesitas la magia de la automatización de la GUI! ✨

✨ Integración perfecta con el editor de cursores

Conecte PyMCPAutoGUI al cursor (símbolo @) para la automatización de la GUI directamente dentro de su flujo de trabajo de codificación.

Abrir configuración de MCP: en Cursor, use la paleta de comandos ( Ctrl+Shift+P o Cmd+Shift+P ) y busque "MCP: Abrir archivo de configuración mcp.json".
Añadir la configuración de PyMCPAutoGUI: Añada o fusione esta configuración en su mcp.json . Ajuste las rutas si es necesario (especialmente si Cursor no se ejecuta desde la raíz del proyecto).
{ "mcpServers": { // ... other MCP server configs if any ... "PyMCPAutoGUI": { // Sets the working directory. ${workspaceFolder} is usually correct. "cwd": "${workspaceFolder}", // Command to run Python. 'python' works if the venv is active in the terminal // where Cursor was launched, or specify the full path. "command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux) // Arguments to start the server module. "args": ["-m", "pymcpautogui.server"] } // ... other MCP server configs if any ... } }
(Sugerencia: si
Guarde . El cursor detectará el servidor.
¡Automatiza! Usa @PyMCPAutoGUI en los chats de cursor:
Ejemplo: @PyMCPAutoGUI move_to(x=100, y=200)``@PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1)``@PyMCPAutoGUI screenshot(filename='current_screen.png')``@PyMCPAutoGUI activate_window(title='Notepad')

🧰 Herramientas disponibles

PyMCPAutoGUI expone la mayoría de las funciones de pyautogui y pygetwindow . Algunos ejemplos son:

Ratón 🖱️: move_to , click , move_rel , drag_to , drag_rel , scroll , mouse_down , mouse_up , get_position
Teclado ⌨️: write , press , key_down , key_up , hotkey
Capturas de pantalla 🖼️: screenshot , locate_on_screen , locate_center_on_screen
Ventanas 🪟: get_all_titles , get_windows_with_title , get_active_window , activate_window , minimize_window , maximize_window , restore_window , move_window , resize_window , close_window
Diálogos 💬: alert , confirm , prompt , password
Configuración ⚙️: set_pause , set_failsafe