MCPControl
Сервер управления Windows для протокола контекста модели , обеспечивающий программное управление системными операциями, включая мышь, клавиатуру, управление окнами и функции захвата экрана.
Примечание : в настоящее время этот проект поддерживает только Windows.
🔥 Почему MCPControl?
MCPControl устраняет разрыв между моделями ИИ и вашим рабочим столом, обеспечивая безопасное программное управление:
- 🖱️ Движения и щелчки мыши
- ⌨️ Ввод с клавиатуры и сочетания клавиш
- 🪟 Управление окнами
- 📸 Снимок экрана и анализ
- 📋 Операции с буфером обмена
🔌 Быстрый старт
Предпосылки
- Установка инструментов сборки (включая рабочую нагрузку VC++)
# Run as Administrator - may take a few minutes to complete
winget install Microsoft.VisualStudio.2022.BuildTools --override "--wait --passive --add Microsoft.VisualStudio.Workload.VCTools --includeRecommended"
- Установите Python (если еще не установлен)
# Install Python (required for node-gyp)
winget install Python.Python.3.12
- Установить Node.js
# Install latest LTS version
winget install OpenJS.NodeJS
Установка
- Установить пакет MCPControl
npm install -g mcp-control
Конфигурация
MCPControl лучше всего работает на виртуальной машине с разрешением 1280x720 для оптимальной точности щелчков.
Настройте клиент Claude для подключения к MCPControl через транспорт SSE:
Вариант 1: Прямое подключение SSE
Для подключения к серверу MCPControl, работающему на виртуальной машине или удаленной машине:
{
"mcpServers": {
"MCPControl": {
"transport": "sse",
"url": "http://192.168.1.100:3232/mcp"
}
}
}
Замените 192.168.1.100:3232 на IP-адрес и порт вашего сервера.
Вариант 2: Локальный запуск с SSE
Чтобы запустить MCPControl локально с транспортом SSE:
{
"mcpServers": {
"MCPControl": {
"command": "mcp-control",
"args": ["--sse"]
}
}
}
Запуск сервера
Сначала запустите сервер MCPControl на вашей виртуальной машине или локальной машине:
Сервер отобразит:
- Доступные сетевые интерфейсы и их IP-адреса
- Номер порта (по умолчанию: 3232)
- Сообщения о состоянии соединения
Пример настройки виртуальной машины
- Запустите виртуальную машину Windows с разрешением 1280x720
- Установите MCPControl на виртуальную машину:
npm install -g mcp-control
- Запустите сервер с транспортом SSE:
- Запишите IP-адрес виртуальной машины (например,
192.168.1.100 ). - Настройте Claude с помощью URL-адреса SSE:
{
"mcpServers": {
"MCPControl": {
"transport": "sse",
"url": "http://192.168.1.100:3232/mcp"
}
}
}
- Перезапустите Клода , и MCPControl появится в вашем меню MCP!
🔧 Параметры CLI
MCPControl поддерживает несколько флагов командной строки для расширенных настроек:
# Run with SSE transport on default port (3232)
mcp-control --sse
# Run with SSE on custom port
mcp-control --sse --port 3000
# Run with HTTPS/TLS (required for production deployments)
mcp-control --sse --https --cert /path/to/cert.pem --key /path/to/key.pem
# Run with HTTPS on custom port
mcp-control --sse --https --port 8443 --cert /path/to/cert.pem --key /path/to/key.pem
Аргументы командной строки
--sse — включить транспорт SSE (Server-Sent Events) для доступа к сети--port [number] — указать пользовательский порт (по умолчанию: 3232)--https — включить HTTPS/TLS (требуется для удаленных развертываний согласно спецификации MCP)--cert [path] — путь к файлу сертификата TLS (требуется вместе с --https)--key [path] — путь к файлу закрытого ключа TLS (требуется вместе с --https)
Примечание по безопасности
Согласно спецификации MCP, HTTPS является обязательным для всех HTTP-транспортов в производственных средах. При развертывании MCPControl для удаленного доступа всегда используйте флаг --https с действительными сертификатами TLS.
🚀 Популярные варианты использования
Вспомогательная автоматизация
- Тестирование приложений : делегируйте повторное тестирование пользовательского интерфейса Клоду, что позволит ИИ перемещаться по приложениям и сообщать о проблемах.
- Автоматизация рабочего процесса : пусть Клод управляет приложениями от вашего имени, выполняя повторяющиеся задачи, пока вы сосредоточены на творческой работе.
- Заполнение форм : позвольте Клоду заняться задачами по вводу данных под вашим руководством.
Эксперименты с ИИ
- Игры с искусственным интеллектом : наблюдайте, как Клод учится играть в простые игры с помощью визуальной обратной связи
- Визуальное мышление : проверьте способность Клода ориентироваться в визуальных интерфейсах и решать визуальные головоломки.
- Сотрудничество человека и искусственного интеллекта : исследуйте новые парадигмы взаимодействия, где Клод может видеть ваш экран и помогать со сложными задачами.
Разработка и тестирование
- Интеграция между приложениями : объединение приложений, которые обычно не взаимодействуют друг с другом
- Среда тестирования пользовательского интерфейса : создание надежных сценариев тестирования с визуальной проверкой
- Создание демонстраций : автоматизация создания демонстраций продуктов.
⚠️ ВАЖНЫЙ ОТКАЗ ОТ ОТВЕТСТВЕННОСТИ
ДАННОЕ ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ЯВЛЯЕТСЯ ЭКСПЕРИМЕНТАЛЬНЫМ И ПОТЕНЦИАЛЬНО ОПАСНЫМ
Используя это программное обеспечение, вы признаете и принимаете, что:
- Предоставление моделям ИИ прямого контроля над вашим компьютером с помощью этого инструмента по своей сути рискованно
- Это программное обеспечение может управлять вашей мышью, клавиатурой и другими системными функциями, что может привести к непредвиденным последствиям.
- Вы используете это программное обеспечение исключительно на свой страх и риск.
- Создатели и участники этого проекта НЕ несут ответственности за любой ущерб, потерю данных или другие последствия, которые могут возникнуть в результате использования этого программного обеспечения.
- Этот инструмент следует использовать только в контролируемых условиях с соблюдением соответствующих мер безопасности.
ИСПОЛЬЗУЙТЕ НА СВОЙ СТРАХ И РИСК
🌟 Особенности
🔧 Поставщики автоматизации
MCPControl поддерживает несколько поставщиков автоматизации для различных вариантов использования:
- keysender (по умолчанию) — собственная автоматизация Windows с высокой надежностью
- powershell — автоматизация на основе Windows PowerShell для упрощения операций
- autohotkey - скрипты AutoHotkey v2 для расширенных задач автоматизации
Конфигурация провайдера
Вы можете настроить поставщика автоматизации с помощью переменных среды:
# Use a specific provider for all operations
export AUTOMATION_PROVIDER=autohotkey
# Configure AutoHotkey executable path (if not in PATH)
export AUTOHOTKEY_PATH="C:\Program Files\AutoHotkey\v2\AutoHotkey.exe"
Или используйте модульную конфигурацию для определенных операций:
# Mix and match providers for different operations
export AUTOMATION_KEYBOARD_PROVIDER=autohotkey
export AUTOMATION_MOUSE_PROVIDER=keysender
export AUTOMATION_SCREEN_PROVIDER=keysender
export AUTOMATION_CLIPBOARD_PROVIDER=powershell
См. документацию конкретного поставщика:
🛠️ Настройка разработки
Если вы заинтересованы в участии или сборке из исходников, подробные инструкции см. на сайте CONTRIBUTING.md .
Требования к разработке
Для создания этого проекта для разработки вам понадобится:
- Операционная система Windows (требуется для зависимости keysender)
- Node.js 18 или более поздней версии (установите с помощью официального установщика Windows, который включает в себя инструменты сборки)
- менеджер пакетов npm
- Собственные инструменты сборки:
- node-gyp:
npm install -g node-gyp - cmake-js:
npm install -g cmake-js
Зависимость keysender опирается на собственные модули Windows, которым требуются эти инструменты сборки.
📋 Структура проекта
/src/handlers — Обработчики запросов и управление инструментами/tools - Реализации основных функций/types — определения типов TypeScriptindex.ts — Основная точка входа в приложение
🔖 Ветки репозитория
main - Основная ветка разработки с последними функциями и изменениямиrelease — стабильная ветка релиза, которая отражает последний стабильный тег (в настоящее время v0.2.0)
Установка версии
Вы можете установить определенные версии MCPControl с помощью npm:
# Install the latest stable release (from release branch)
npm install mcp-control
# Install a specific version
npm install mcp-control@0.1.22
📚 Зависимости
🚧 Известные ограничения
- Операции минимизации/восстановления окон в настоящее время не поддерживаются.
- Функции нескольких экранов могут работать не так, как ожидалось, в зависимости от настроек.
- Утилита get_screenshot не работает с расширением VS Code Cline. См. GitHub issue #1865
- Для некоторых операций могут потребоваться повышенные разрешения в зависимости от целевого приложения.
- Поддерживается только Windows.
- MCPControl лучше всего работает при разрешении 1280x720, один экран. Точность щелчка оптимизирована для этого разрешения. Мы работаем над ошибкой смещения/масштабирования и ищем тестировщиков или помощь в создании инструментов тестирования
👥 Вклад
См. CONTRIBUTING.md
⚖️ Лицензия
Данный проект лицензирован по лицензии MIT — подробности см. в файле LICENSE.
📖 Ссылки