PyMCPAutoGUI 🖱️⌨️🖼️ - Automatización de GUI mediante MCP

¡Potencia al máximo las capacidades de tu agente de IA! ✨ PyMCPAutoGUI conecta tus agentes de IA (como los de Cursor u otros entornos compatibles con MCP) con la interfaz gráfica de usuario (GUI) de tu ordenador. Permite que tu agente vea la pantalla 👁️, controle el ratón 🖱️ y el teclado ⌨️ e interactúe con las ventanas 🪟, ¡igual que un usuario humano!

Olvídate de las tediosas tareas manuales de la interfaz gráfica y deja que tu IA se encargue del trabajo pesado 💪. Perfecto para automatizar acciones repetitivas, probar interfaces gráficas o crear potentes asistentes de IA 🤖.

🤔 ¿Por qué elegir PyMCPAutoGUI?

• 🤖 Empodere a sus agentes: brinde a sus agentes de IA el poder de interactuar directamente con las aplicaciones de escritorio.

• ✅ Integración sencilla: Funciona a la perfección con clientes compatibles con MCP, como el editor de cursores. ¡Listo para usar!

• 🚀 Fácil de usar: Comienza con un simple comando de servidor. ¡ Así de fácil!

• 🖱️⌨️ Control integral: ofrece una amplia gama de funciones de automatización de GUI desde las probadas PyAutoGUI y PyGetWindow .

• 🖼️ Percepción de pantalla: incluye herramientas para tomar capturas de pantalla y ubicar imágenes en la pantalla. ¡Deja que tu agente lo vea !

• 🪟 Administración de ventanas: Controla la posición, el tamaño, el estado (minimizar, maximizar) y más de las ventanas. ¡Ordena tu escritorio!

• 💬 Interacción del usuario: Muestra cuadros de alerta, confirmación y aviso para comunicarte con el usuario.

Related MCP server: windows-computer-use-mcp

🛠️ Entornos compatibles

• Sistemas operativos: Windows, macOS, Linux (requiere dependencias apropiadas para pyautogui en cada sistema operativo)

• Python: 3.11+ 🐍

• Clientes MCP: Editor de cursor, cualquier cliente compatible con el Protocolo de contexto de modelo (MCP)

🚀 Cómo empezar: ¡es súper fácil!

1. Instalación (Recomendado: ¡Utilice un entorno virtual!)

El uso de un entorno virtual mantiene ordenadas las dependencias de su proyecto.

# Create and activate a virtual environment (example using venv)
python -m venv .venv
# Windows PowerShell
.venv\Scripts\Activate.ps1
# macOS / Linux bash
source .venv/bin/activate

# Install using pip (from PyPI or local source)
# Make sure your virtual environment is active!
pip install pymcpautogui # Or pip install . if installing from local source

(Nota: pyautogui puede tener dependencias del sistema como scrot en Linux para capturas de pantalla. Consulte la documentación de pyautogui para conocer los requisitos de instalación específicos del sistema operativo).

2. Ejecución del servidor MCP

Una vez instalado, simplemente ejecute el servidor desde su terminal:

# Make sure your virtual environment is activated!
python -m pymcpautogui.server

El servidor se iniciará y escuchará las conexiones (el puerto predeterminado es el 6789). Busque este resultado:

INFO:     Started server process [XXXXX]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:6789 (Press CTRL+C to quit)

¡Mantén esta terminal en funcionamiento mientras necesitas la magia de la automatización de la GUI! ✨

✨ Integración perfecta con el editor de cursores

Conecte PyMCPAutoGUI al cursor (símbolo @) para la automatización de la GUI directamente dentro de su flujo de trabajo de codificación.

1. Abrir configuración de MCP: en Cursor, use la paleta de comandos ( Ctrl+Shift+P o Cmd+Shift+P ) y busque "MCP: Abrir archivo de configuración mcp.json".

2. Añadir la configuración de PyMCPAutoGUI: Añada o fusione esta configuración en su mcp.json . Ajuste las rutas si es necesario (especialmente si Cursor no se ejecuta desde la raíz del proyecto).

   {
       "mcpServers": {
           // ... other MCP server configs if any ...
           "PyMCPAutoGUI": {
               // Sets the working directory. ${workspaceFolder} is usually correct.
               "cwd": "${workspaceFolder}",
   
               // Command to run Python. 'python' works if the venv is active in the terminal
               // where Cursor was launched, or specify the full path.
               "command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux)
   
               // Arguments to start the server module.
               "args": ["-m", "pymcpautogui.server"]
           }
           // ... other MCP server configs if any ...
       }
   }

   (Sugerencia: si mcp.json ya existe, simplemente agregue la parte "PyMCPAutoGUI": { ... } dentro del objeto mcpServers ).

3. Guarde mcp.json . El cursor detectará el servidor.

4. ¡Automatiza! Usa @PyMCPAutoGUI en los chats de cursor:

   Ejemplo: @PyMCPAutoGUI move_to(x=100, y=200)``@PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1)``@PyMCPAutoGUI screenshot(filename='current_screen.png')``@PyMCPAutoGUI activate_window(title='Notepad')

🧰 Herramientas disponibles

PyMCPAutoGUI expone la mayoría de las funciones de pyautogui y pygetwindow . Algunos ejemplos son:

• Ratón 🖱️: move_to , click , move_rel , drag_to , drag_rel , scroll , mouse_down , mouse_up , get_position

• Teclado ⌨️: write , press , key_down , key_up , hotkey

• Capturas de pantalla 🖼️: screenshot , locate_on_screen , locate_center_on_screen

• Ventanas 🪟: get_all_titles , get_windows_with_title , get_active_window , activate_window , minimize_window , maximize_window , restore_window , move_window , resize_window , close_window

• Diálogos 💬: alert , confirm , prompt , password

• Configuración ⚙️: set_pause , set_failsafe

Para obtener la lista completa y los detalles, consulte el archivo pymcpautogui/server.py o use @PyMCPAutoGUI list_tools en su cliente MCP.

📄 Licencia

Este proyecto está licenciado bajo la Licencia MIT; consulte el archivo de LICENCIA para más detalles. ¡Que disfrutes de la automatización! 😄