PyMCPAutoGUI 🖱️⌨️🖼️ - MCP를 통한 GUI 자동화

AI 에이전트의 역량을 강화하세요! ✨ PyMCPAutoGUI는 Cursor 또는 기타 MCP 호환 환경에 있는 AI 에이전트와 컴퓨터의 그래픽 사용자 인터페이스(GUI)를 연결하는 다리 역할을 합니다. PyMCPAutoGUI를 사용하면 에이전트가 마치 사람처럼 화면을 보고 👁️, 마우스 🖱️와 키보드 ⌨️를 제어하고 🪟 창과 상호 작용할 수 있습니다!

지루한 수동 GUI 작업은 이제 그만, AI에게 맡겨보세요 💪. 반복적인 작업 자동화, GUI 테스트, 강력한 AI 비서 구축에 안성맞춤입니다 🤖.

🤔 왜 PyMCPAutoGUI를 선택해야 하나요?

• 🤖 에이전트의 역량 강화: AI 에이전트에게 데스크톱 애플리케이션과 직접 상호 작용할 수 있는 기능을 제공하세요.

• ✅ 간편한 통합: 커서 편집기 등 MCP 호환 클라이언트와 완벽하게 호환됩니다. 플러그 앤 플레이 방식입니다!

• 🚀 사용하기 쉬움: 간단한 서버 명령어로 시작하세요. 정말, 정말 쉬워요.

• 🖱️⌨️ 종합적인 제어: 실전에서 검증된 PyAutoGUI 와 PyGetWindow 의 광범위한 GUI 자동화 기능을 제공합니다.

• 🖼️ 화면 인식: 스크린샷을 찍고 화면에서 이미지를 찾는 도구가 포함되어 있습니다. 에이전트에게 보여 주세요!

• 🪟 창 관리: 창 위치, 크기, 상태(최소화, 최대화) 등을 제어하여 데스크톱을 깔끔하게 정리하세요!

• 💬 사용자 상호작용: 사용자와 소통하기 위해 알림, 확인 및 프롬프트 상자를 표시합니다.

Related MCP server: windows-computer-use-mcp

🛠️ 지원 환경

• 운영 체제: Windows, macOS, Linux(각 OS에 pyautogui 에 대한 적절한 종속성이 필요함)

• 파이썬: 3.11+ 🐍

• MCP 클라이언트: 커서 편집기, MCP(모델 컨텍스트 프로토콜)를 지원하는 모든 클라이언트

🚀 시작하기 - 정말 쉽습니다!

1. 설치 (권장: 가상 환경 사용!)

가상 환경을 사용하면 프로젝트 종속성을 깔끔하게 유지할 수 있습니다.

지엑스피1

(참고: pyautogui Linux의 스크린샷용 scrot 과 같은 시스템 종속성이 있을 수 있습니다. OS별 설치 요구 사항은 pyautogui 설명서를 확인하세요.)

2. MCP 서버 실행

설치가 완료되면 터미널에서 서버를 실행하기만 하면 됩니다.

# Make sure your virtual environment is activated!
python -m pymcpautogui.server

서버가 시작되고 연결을 수신 대기합니다(기본값: 포트 6789). 다음 출력을 확인하세요.

INFO:     Started server process [XXXXX]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://127.0.0.1:6789 (Press CTRL+C to quit)

GUI 자동화의 마법이 필요한 동안 이 터미널을 계속 실행하세요! ✨

✨ 커서 편집기와의 원활한 통합

코딩 워크플로 내에서 직접 GUI 자동화를 위해 PyMCPAutoGUI를 Cursor(@ 기호)에 연결합니다.

1. MCP 구성 열기: 커서에서 명령 팔레트( Ctrl+Shift+P 또는 Cmd+Shift+P )를 사용하여 "MCP: mcp.json 구성 파일 열기"를 찾으세요.

2. PyMCPAutoGUI 구성 추가: 이 구성을 mcp.json 파일에 추가하거나 병합하세요. 필요한 경우 경로를 조정하세요(특히 Cursor가 프로젝트 루트에서 실행되지 않는 경우).

   {
       "mcpServers": {
           // ... other MCP server configs if any ...
           "PyMCPAutoGUI": {
               // Sets the working directory. ${workspaceFolder} is usually correct.
               "cwd": "${workspaceFolder}",
   
               // Command to run Python. 'python' works if the venv is active in the terminal
               // where Cursor was launched, or specify the full path.
               "command": "python", // Or ".venv/Scripts/python.exe" (Win) or ".venv/bin/python" (Mac/Linux)
   
               // Arguments to start the server module.
               "args": ["-m", "pymcpautogui.server"]
           }
           // ... other MCP server configs if any ...
       }
   }

   (팁: mcp.json 이미 존재하는 경우 mcpServers 객체 내부에 "PyMCPAutoGUI": { ... } 부분을 추가하기만 하면 됩니다.)

3. mcp.json 저장하세요 . 커서가 서버를 감지합니다.

4. 자동화하세요! 커서 채팅에서 @PyMCPAutoGUI 사용하세요.

   예: @PyMCPAutoGUI move_to(x=100, y=200)``@PyMCPAutoGUI write(text='Automating with AI! 🎉', interval=0.1)``@PyMCPAutoGUI screenshot(filename='current_screen.png')``@PyMCPAutoGUI activate_window(title='Notepad')

🧰 사용 가능한 도구

PyMCPAutoGUI는 pyautogui 와 pygetwindow 의 함수 대부분을 제공합니다. 예를 들면 다음과 같습니다.

• 마우스 🖱️: move_to , click , move_rel , drag_to , drag_rel , scroll , mouse_down , mouse_up , get_position

• 키보드 ⌨️: write , press , key_down , key_up , hotkey

• 스크린샷 🖼️: screenshot , locate_on_screen , locate_center_on_screen

• Windows 🪟: get_all_titles , get_windows_with_title , get_active_window , activate_window , minimize_window , maximize_window , restore_window , move_window , resize_window , close_window

• 대화상자 💬: alert , confirm , prompt , password

• 구성 ⚙️: set_pause , set_failsafe

전체 목록과 세부 정보를 보려면 pymcpautogui/server.py 파일을 확인하거나 MCP 클라이언트에서 @PyMCPAutoGUI list_tools 사용하세요.

📄 라이센스

이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여되었습니다. 자세한 내용은 LICENSE 파일을 참조하세요. 즐거운 자동화 되세요! 😄