MCPControl

Сервер управления Windows для протокола контекста модели , обеспечивающий программное управление системными операциями, включая мышь, клавиатуру, управление окнами и функции захвата экрана.

Примечание : в настоящее время этот проект поддерживает только Windows.

🔥 Почему MCPControl?

MCPControl устраняет разрыв между моделями ИИ и вашим рабочим столом, обеспечивая безопасное программное управление:

• 🖱️ Движения и щелчки мыши

• ⌨️ Ввод с клавиатуры и сочетания клавиш

• 🪟 Управление окнами

• 📸 Снимок экрана и анализ

• 📋 Операции с буфером обмена

Related MCP server: Windows CLI MCP Server

🔌 Быстрый старт

Предпосылки

1. Установка инструментов сборки (включая рабочую нагрузку VC++)

   # Run as Administrator - may take a few minutes to complete
   winget install Microsoft.VisualStudio.2022.BuildTools --override "--wait --passive --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended"

2. Установите Python (если еще не установлен)

   # Install Python (required for node-gyp)
   winget install Python.Python.3.12

3. Установить Node.js

   # Install latest LTS version
   winget install OpenJS.NodeJS

Установка

1. Установить пакет MCPControl

   npm install -g mcp-control

Конфигурация

MCPControl лучше всего работает на виртуальной машине с разрешением 1280x720 для оптимальной точности щелчков.

Настройте клиент Claude для подключения к MCPControl через транспорт SSE:

Вариант 1: Прямое подключение SSE

Для подключения к серверу MCPControl, работающему на виртуальной машине или удаленной машине:

{
  "mcpServers": {
    "MCPControl": {
      "transport": "sse",
      "url": "http://192.168.1.100:3232/mcp"
    }
  }
}

Замените 192.168.1.100:3232 на IP-адрес и порт вашего сервера.

Вариант 2: Локальный запуск с SSE

Чтобы запустить MCPControl локально с транспортом SSE:

{
  "mcpServers": {
    "MCPControl": {
      "command": "mcp-control",
      "args": ["--sse"]
    }
  }
}

Запуск сервера

Сначала запустите сервер MCPControl на вашей виртуальной машине или локальной машине:

mcp-control --sse

Сервер отобразит:

• Доступные сетевые интерфейсы и их IP-адреса

• Номер порта (по умолчанию: 3232)

• Сообщения о состоянии соединения

Пример настройки виртуальной машины

1. Запустите виртуальную машину Windows с разрешением 1280x720

2. Установите MCPControl на виртуальную машину:

   npm install -g mcp-control

3. Запустите сервер с транспортом SSE:

   mcp-control --sse

4. Запишите IP-адрес виртуальной машины (например, 192.168.1.100 ).

5. Настройте Claude с помощью URL-адреса SSE:

   {
     "mcpServers": {
       "MCPControl": {
         "transport": "sse",
         "url": "http://192.168.1.100:3232/mcp"
       }
     }
   }

6. Перезапустите Клода , и MCPControl появится в вашем меню MCP!

🔧 Параметры CLI

MCPControl поддерживает несколько флагов командной строки для расширенных настроек:

# Run with SSE transport on default port (3232)
mcp-control --sse

# Run with SSE on custom port
mcp-control --sse --port 3000

# Run with HTTPS/TLS (required for production deployments)
mcp-control --sse --https --cert /path/to/cert.pem --key /path/to/key.pem

# Run with HTTPS on custom port
mcp-control --sse --https --port 8443 --cert /path/to/cert.pem --key /path/to/key.pem

Аргументы командной строки

• --sse — включить транспорт SSE (Server-Sent Events) для доступа к сети

• --port [number] — указать пользовательский порт (по умолчанию: 3232)

• --https — включить HTTPS/TLS (требуется для удаленных развертываний согласно спецификации MCP)

• --cert [path] — путь к файлу сертификата TLS (требуется вместе с --https)

• --key [path] — путь к файлу закрытого ключа TLS (требуется вместе с --https)

Примечание по безопасности

Согласно спецификации MCP, HTTPS является обязательным для всех HTTP-транспортов в производственных средах. При развертывании MCPControl для удаленного доступа всегда используйте флаг --https с действительными сертификатами TLS.

🚀 Популярные варианты использования

Вспомогательная автоматизация

• Тестирование приложений : делегируйте повторное тестирование пользовательского интерфейса Клоду, что позволит ИИ перемещаться по приложениям и сообщать о проблемах.

• Автоматизация рабочего процесса : пусть Клод управляет приложениями от вашего имени, выполняя повторяющиеся задачи, пока вы сосредоточены на творческой работе.

• Заполнение форм : позвольте Клоду заняться задачами по вводу данных под вашим руководством.

Эксперименты с ИИ

• Игры с искусственным интеллектом : наблюдайте, как Клод учится играть в простые игры с помощью визуальной обратной связи

• Визуальное мышление : проверьте способность Клода ориентироваться в визуальных интерфейсах и решать визуальные головоломки.

• Сотрудничество человека и искусственного интеллекта : исследуйте новые парадигмы взаимодействия, где Клод может видеть ваш экран и помогать со сложными задачами.

Разработка и тестирование

• Интеграция между приложениями : объединение приложений, которые обычно не взаимодействуют друг с другом

• Среда тестирования пользовательского интерфейса : создание надежных сценариев тестирования с визуальной проверкой

• Создание демонстраций : автоматизация создания демонстраций продуктов.

⚠️ ВАЖНЫЙ ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ

ДАННОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ЯВЛЯЕТСЯ ЭКСПЕРИМЕНТАЛЬНЫМ И ПОТЕНЦИАЛЬНО ОПАСНЫМ

Используя это программное обеспечение, вы признаете и принимаете, что:

• Предоставление моделям ИИ прямого контроля над вашим компьютером с помощью этого инструмента по своей сути рискованно

• Это программное обеспечение может управлять вашей мышью, клавиатурой и другими системными функциями, что может привести к непредвиденным последствиям.

• Вы используете это программное обеспечение исключительно на свой страх и риск.

• Создатели и участники этого проекта НЕ несут ответственности за любой ущерб, потерю данных или другие последствия, которые могут возникнуть в результате использования этого программного обеспечения.

• Этот инструмент следует использовать только в контролируемых условиях с соблюдением соответствующих мер безопасности.

ИСПОЛЬЗУЙТЕ НА СВОЙ СТРАХ И РИСК

🌟 Особенности

🔧 Поставщики автоматизации

MCPControl поддерживает несколько поставщиков автоматизации для различных вариантов использования:

• keysender (по умолчанию) — собственная автоматизация Windows с высокой надежностью

• powershell — автоматизация на основе Windows PowerShell для упрощения операций

• autohotkey - скрипты AutoHotkey v2 для расширенных задач автоматизации

Конфигурация провайдера

Вы можете настроить поставщика автоматизации с помощью переменных среды:

# Use a specific provider for all operations
export AUTOMATION_PROVIDER=autohotkey

# Configure AutoHotkey executable path (if not in PATH)
export AUTOHOTKEY_PATH="C:\Program Files\AutoHotkey\v2\AutoHotkey.exe"

Или используйте модульную конфигурацию для определенных операций:

# Mix and match providers for different operations
export AUTOMATION_KEYBOARD_PROVIDER=autohotkey
export AUTOMATION_MOUSE_PROVIDER=keysender
export AUTOMATION_SCREEN_PROVIDER=keysender  
export AUTOMATION_CLIPBOARD_PROVIDER=powershell

См. документацию конкретного поставщика:

• Поставщик AutoHotkey

🛠️ Настройка разработки

Если вы заинтересованы в участии или сборке из исходников, подробные инструкции см. на сайте CONTRIBUTING.md .

Требования к разработке

Для создания этого проекта для разработки вам понадобится:

1. Операционная система Windows (требуется для зависимости keysender)

2. Node.js 18 или более поздней версии (установите с помощью официального установщика Windows, который включает в себя инструменты сборки)

3. менеджер пакетов npm

4. Собственные инструменты сборки:

   • node-gyp: npm install -g node-gyp

   • cmake-js: npm install -g cmake-js

Зависимость keysender опирается на собственные модули Windows, которым требуются эти инструменты сборки.

📋 Структура проекта

• /src

  • /handlers — Обработчики запросов и управление инструментами

  • /tools - Реализации основных функций

  • /types — определения типов TypeScript

  • index.ts — Основная точка входа в приложение

🔖 Ветки репозитория

• main - Основная ветка разработки с последними функциями и изменениями

• release — стабильная ветка релиза, которая отражает последний стабильный тег (в настоящее время v0.2.0)

Установка версии

Вы можете установить определенные версии MCPControl с помощью npm:

# Install the latest stable release (from release branch)
npm install mcp-control

# Install a specific version
npm install mcp-control@0.1.22

📚 Зависимости

• @modelcontextprotocol/sdk — MCP SDK для реализации протокола

• keysender — библиотека автоматизации пользовательского интерфейса только для Windows

• clipboardy - Обработка буфера обмена

• резкость - Обработка изображений

• uuid - генерация UUID

🚧 Известные ограничения

• Операции минимизации/восстановления окон в настоящее время не поддерживаются.

• Функции нескольких экранов могут работать не так, как ожидалось, в зависимости от настроек.

• Утилита get_screenshot не работает с расширением VS Code Cline. См. GitHub issue #1865

• Для некоторых операций могут потребоваться повышенные разрешения в зависимости от целевого приложения.

• Поддерживается только Windows.

• MCPControl лучше всего работает при разрешении 1280x720, один экран. Точность щелчка оптимизирована для этого разрешения. Мы работаем над ошибкой смещения/масштабирования и ищем тестировщиков или помощь в создании инструментов тестирования

👥 Вклад

См. CONTRIBUTING.md

⚖️ Лицензия

Данный проект лицензирован по лицензии MIT — подробности см. в файле LICENSE.

📖 Ссылки

• Документация протокола контекста модели