open-computer-use

Локальный MCP-сервер, который даёт ИИ-агентам глаза и руки на вашем рабочем столе. Агенты могут видеть интерфейс приложения, кликать, печатать, прокручивать и перетаскивать — через слой специальных возможностей, не перехватывая вашу настоящую мышь и клавиатуру. Работает полностью на вашей машине: macOS, Windows и Linux.

Инструменты

Девять основных инструментов, одинаковых на всех трёх платформах:

Пять дополнительных инструментов уровня окна — list_windows, get_window, get_window_state, launch_app, activate_window — следуют более новому API window2 и сейчас доступны на Windows (для macOS и Linux готовятся).

Related MCP server: Automation MCP

Быстрый старт

npm i -g open-computer-use
ocu doctor        # verify the install; macOS: prompts for permissions
ocu call list_apps

На macOS 14+ нужно разово предоставить разрешения Accessibility и Screen Recording. Windows и Linux работают из коробки в авторизованной сессии рабочего стола (для Linux нужен AT-SPI2, который по умолчанию идёт в комплекте GNOME и смежных окружениях).

Подключите своего агента

ocu install-codex-mcp      # Codex CLI & Codex App
ocu install-codex-plugin   # Codex App, plugin form
ocu install-claude-mcp     # Claude Code
ocu install-gemini-mcp     # Gemini CLI (--scope user for global)
ocu install-opencode-mcp   # opencode

Любой другой MCP-клиент — добавьте вручную:

{
  "mcpServers": {
    "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] }
  }
}

ZCode

Этот репозиторий распространяется как плагин ZCode — одна установка даёт вам навык и автоматически подключённый MCP-сервер:

1. Однократно установите среду выполнения (плагин использует её, когда нет локальной сборки):

   npm i -g open-computer-use

2. В ZCode откройте Настройки → Управление плагинами → Поиск и нажмите +.

3. Добавьте этот репозиторий — GitHub URL opensymph/open-computer-use или локальную папку с клоном.

4. Найдите Open Computer Use в списке и нажмите Получить.

5. Начните новую сессию. Проверьте, что в** Settings → MCP в разделе Настройки → MCP отображается подключённый open-computer-use, затем просто спросите: «перечисли окна на моём экране».

Чтобы удалить его позже: вкладка «Установленные» → Open Computer Use → удалить.

Навык агента — устанавливаемое руководство, которое учит агентов правильно использоваться этими инструментами:

npx skills add opensymph/open-computer-use -g -a claude-code --skill open-computer-use -y

Почему именно этот вариант

• Неинвазивность по замыслу. Приоритет отдаётся API специальных возможностей, а не синтетическому вводу; ваш реальный указатель, фокус и приложение на переднем плане остаются нетронутыми, пока вы явно не включите глобальный ввод.

• Три платформы — один контракт. Одинаковые имена инструментов, аргументы и результаты на любой ОС — агентам не нужны ветвления под каждую платформу.

• Курсор, за которым можно наблюдать. На macOS действия воспроизводят видимый программный курсор, так что вы видите, что делает агент.

• Скриптуемость без клиента. ocu call запускает любой инструмент из вашей оболочки и выводит MCP-совместимый JSON; --calls объединяет последовательности инструкций в одном процессе.

• Встроенные ограничения. Менеджеры паролей всегда отклоняются. Запуск приложений, принудительный захват фокуса и глобальная инъекция ввода — каждый из этих действий закрыт отдельной опцией через переменные окружения.

Статус платформ

Документация

• Архитектура — как работают три среды выполнения

• Справочник по навыкам — применение, установка, устранение неисправностей

• Политика безопасности и уведомления о сторонних компонентах

• Внесение вклада

Лицензия

MIT