Claude Codex Computer Use

Экспериментальный неофициальный мост, который позволяет Claude Code управлять локальными приложениями macOS через существующую установку OpenAI Computer Use.

Пакет не содержит бинарных файлов OpenAI. Он запускает клиент Computer Use, уже установленный на Mac пользователя, и устраняет небольшую несовместимость MCP между Claude Code и этим клиентом.

Требования

• macOS. Установленная среда выполнения OpenAI в настоящее время требует macOS 14.4 или новее.

• Claude Code с поддержкой плагинов. Проверена версия 2.1.223.

• ChatGPT или Codex с установленным и работающим OpenAI Computer Use.

• Разрешения на доступность и запись экрана, предоставленные среде выполнения OpenAI Computer Use.

Мост ищет клиент Computer Use по адресу:

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

Если CODEX_HOME не задан, по умолчанию используется ~/.codex.

Установка в качестве плагина Claude Code

В сессии Claude Code:

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

Или из оболочки:

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

Новые сессии автоматически загружают навык Computer Use и MCP-сервер.

Проверьте установку с помощью:

/plugin
/mcp

Установка MCP-моста из npm

Рекомендуется установка плагина, так как она включает как MCP-мост, так и навык Computer Use. Пакет npm также можно использовать как автономный MCP-сервер stdio:

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

Или как прямая запись в .mcp.json:

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

Эта установка только MCP не загружает встроенный навык. Предпочитайте плагин, если только MCP-клиент не предоставляет собственные инструкции Computer Use.

Использование

Попросите Claude использовать Computer Use явно или опишите задачу на рабочем столе:

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

Встроенный навык инструктирует Claude использовать наблюдаемый цикл состояние/действие/состояние:

1. Прочитайте целевое приложение с помощью get_app_state.

2. Используйте элементы доступности, когда они доступны, и координаты скриншота только как запасной вариант.

3. Выполните действие.

4. Получите свежее состояние приложения перед принятием решения о следующем действии.

Как это работает

Сервис OpenAI Computer Use аутентифицирует происхождение процесса клиента. Запуск его MCP-клиента напрямую из Claude Code отклоняется как неаутентифицированный отправитель. Поэтому мост использует подписанный исполняемый файл Codex, входящий в состав ChatGPT или Codex, в качестве запускателя процесса:

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex не используется как агент, и мост не отправляет запросы к моделям OpenAI. Он запускает codex sandbox с отключенным/неограниченным профилем разрешений Codex, чтобы подписанный клиент мог получить доступ к своим обычным кэшам, службам macOS и Unix-сокетам.

Клиент Computer Use требует, чтобы его MCP-клиент объявлял возможность elicitation и отвечал на запросы доступа к приложениям через нее. Мост гарантирует наличие этой возможности при initialize и автоматически принимает elicitation доступа к приложениям, поэтому сессии работают без вмешательства. Все остальные сообщения JSON-RPC, включая блоки изображений скриншотов, проходят без изменений.

Сервис Computer Use рассматривает подключенного клиента как активную блокировку управляемых приложений и освобождает их при выходе клиента. Codex завершает своего клиента в конце разговора, но Claude Code держит MCP-серверы плагинов активными на протяжении всей сессии. Поэтому мост завершает клиента через 60 секунд бездействия и перезапускает его по требованию, прозрачно воспроизводя записанное рукопожатие initialize, чтобы приложения не удерживались между задачами.

Конфигурация

Переменные окружения:

Подписанный запускатель обнаруживается в следующем порядке:

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

Безопасность и поток данных

Установка этого пакета дает Claude доступ к локальным инструментам Computer Use, которые могут читать скриншоты, кликать, печатать, прокручивать, перетаскивать и взаимодействовать с приложениями.

Мост намеренно:

• автоматически принимает elicitation доступа к приложениям Computer Use MCP;

• запускает подписанный клиент с неограниченным профилем разрешений Codex;

• передает текст доступности и скриншоты обратно Claude как результаты инструментов MCP;

• освобождает клиента после тайм-аута бездействия, чтобы приложения не удерживались между задачами, и перезапускает его по требованию.

Claude Code может отправлять эти результаты инструментов настроенному провайдеру модели в рамках разговора. Не устанавливайте плагин, если такое поведение неприемлемо для приложений и данных на Mac.

Совместимость

Первоначальный выпуск был проверен с:

OpenAI Computer Use — это внутренняя интеграция для рабочего стола, а не стабильный сторонний SDK. Обновления ChatGPT, Codex или Computer Use могут изменить пути к бинарным файлам, правила аутентификации процессов или поведение протокола.

Разработка

Мост не имеет зависимостей npm во время выполнения.

pnpm install
pnpm test
pnpm smoke

pnpm test использует фиктивный сервер Computer Use и безопасен для запуска где угодно. pnpm smoke подключается к реальному локальному сервису, вызывает list_apps и проверяет, что get_app_state возвращает как текст, так и скриншот в формате JPEG.

Устранение неполадок

Sender process is not authenticated

Клиент Computer Use был запущен напрямую, а не через подписанный запускатель Codex. Убедитесь, что ChatGPT или Codex установлены в /Applications, или задайте COMPUTER_USE_CODEX_LAUNCHER_PATH.

Клиент Computer Use отсутствует

Сначала включите или переустановите OpenAI Computer Use, затем убедитесь, что его клиент существует в $CODEX_HOME/computer-use.

Несоответствие версий клиента и сервера

Закройте и перезапустите ChatGPT, чтобы его клиент Computer Use и среда выполнения обновились вместе, затем повторите дымовой тест.

Изменения плагина не отображаются

Перезапустите Claude Code или выполните /plugin marketplace update songkeys и переустановите. Claude Code использует кэшированную копию установленного плагина, поэтому редактирование копии не влияет на существующую установку до обновления плагина.

Лицензия и товарные знаки

Код моста доступен по лицензии MIT.

Этот проект является независимым и не связан с OpenAI или Anthropic, не одобрен и не спонсируется ими. OpenAI, ChatGPT, Codex, Anthropic, Claude и связанные названия могут быть товарными знаками их соответствующих владельцев. Пользователи должны предоставить и иметь лицензию на использование собственного программного обеспечения и учетных записей OpenAI и Anthropic.

Предшествующие работы

Этот проект является зеркалом kimi-computer-use, такого же моста для Kimi Code CLI.