PyMCPAutoGUI 🖱️⌨️🖼️ - Automatización de GUI mediante MCP

¡Potencia al máximo las capacidades de tu agente de IA! ✨ PyMCPAutoGUI conecta tus agentes de IA (como los de Cursor u otros entornos compatibles con MCP) con la interfaz gráfica de usuario (GUI) de tu ordenador. Permite que tu agente vea la pantalla 👁️, controle el ratón 🖱️ y el teclado ⌨️ e interactúe con las ventanas 🪟, ¡igual que un usuario humano!

Olvídate de las tediosas tareas manuales de la interfaz gráfica y deja que tu IA se encargue del trabajo pesado 💪. Perfecto para automatizar acciones repetitivas, probar interfaces gráficas o crear potentes asistentes de IA 🤖.

🤔 ¿Por qué elegir PyMCPAutoGUI?

• 🤖 Empodere a sus agentes: brinde a sus agentes de IA el poder de interactuar directamente con las aplicaciones de escritorio.

• ✅ Integración sencilla: Funciona a la perfección con clientes compatibles con MCP, como el editor de cursores. ¡Listo para usar!

• 🚀 Fácil de usar: Comienza con un simple comando de servidor. ¡ Así de fácil!

• 🖱️⌨️ Control integral: ofrece una amplia gama de funciones de automatización de GUI desde las probadas PyAutoGUI y PyGetWindow .

• 🖼️ Percepción de pantalla: incluye herramientas para tomar capturas de pantalla y ubicar imágenes en la pantalla. ¡Deja que tu agente lo vea !

• 🪟 Administración de ventanas: Controla la posición, el tamaño, el estado (minimizar, maximizar) y más de las ventanas. ¡Ordena tu escritorio!

• 💬 Interacción del usuario: Muestra cuadros de alerta, confirmación y aviso para comunicarte con el usuario.

🛠️ Entornos compatibles

• Sistemas operativos: Windows, macOS, Linux (requiere dependencias apropiadas para pyautogui en cada sistema operativo)

• Python: 3.11+ 🐍

• Clientes MCP: Editor de cursor, cualquier cliente compatible con el Protocolo de contexto de modelo (MCP)

🚀 Cómo empezar: ¡es súper fácil!

1. Instalación (Recomendado: ¡Utilice un entorno virtual!)

El uso de un entorno virtual mantiene ordenadas las dependencias de su proyecto.

(Nota:

2. Ejecución del servidor MCP

Una vez instalado, simplemente ejecute el servidor desde su terminal:

El servidor se iniciará y escuchará las conexiones (el puerto predeterminado es el 6789). Busque este resultado:

¡Mantén esta terminal en funcionamiento mientras necesitas la magia de la automatización de la GUI! ✨

✨ Integración perfecta con el editor de cursores

Conecte PyMCPAutoGUI al cursor (símbolo @) para la automatización de la GUI directamente dentro de su flujo de trabajo de codificación.

1. Abrir configuración de MCP: en Cursor, use la paleta de comandos ( Ctrl+Shift+P o Cmd+Shift+P ) y busque "MCP: Abrir archivo de configuración mcp.json".

2. Añadir la configuración de PyMCPAutoGUI: Añada o fusione esta configuración en su mcp.json . Ajuste las rutas si es necesario (especialmente si Cursor no se ejecuta desde la raíz del proyecto).

   { "mcpServers": { // ... other MCP server configs if any ... "PyMCPAutoGUI": { // Sets the working directory. ${workspaceFolder} is usually correct. "cwd": "${workspaceFolder}", // Command to run Python. 'python' works if the venv is active in the terminal // where Cursor was launched, or specify the full path. "command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux) // Arguments to start the server module. "args": ["-m", "pymcpautogui.server"] } // ... other MCP server configs if any ... } }

   (Sugerencia: si

3. Guarde . El cursor detectará el servidor.

4. ¡Automatiza! Usa @PyMCPAutoGUI en los chats de cursor:

   Ejemplo: @PyMCPAutoGUI move_to(x=100, y=200)``@PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1)``@PyMCPAutoGUI screenshot(filename='current_screen.png')``@PyMCPAutoGUI activate_window(title='Notepad')

🧰 Herramientas disponibles

PyMCPAutoGUI expone la mayoría de las funciones de pyautogui y pygetwindow . Algunos ejemplos son:

• Ratón 🖱️: move_to , click , move_rel , drag_to , drag_rel , scroll , mouse_down , mouse_up , get_position

• Teclado ⌨️: write , press , key_down , key_up , hotkey

• Capturas de pantalla 🖼️: screenshot , locate_on_screen , locate_center_on_screen

• Ventanas 🪟: get_all_titles , get_windows_with_title , get_active_window , activate_window , minimize_window , maximize_window , restore_window , move_window , resize_window , close_window

• Diálogos 💬: alert , confirm , prompt , password

• Configuración ⚙️: set_pause , set_failsafe

Para obtener la lista completa y los detalles, consulte el archivo pymcpautogui/server.py o use @PyMCPAutoGUI list_tools en su cliente MCP.

📄 Licencia

Este proyecto está licenciado bajo la Licencia MIT; consulte el archivo de LICENCIA para más detalles. ¡Que disfrutes de la automatización! 😄