Claude Codex Computer Use

Экспериментальный, неофициальный мост, который позволяет Claude Code управлять локальными приложениями macOS через существующую установку OpenAI Computer Use.

Пакет не содержит бинарных файлов OpenAI. Он запускает клиент Computer Use, уже установленный на Mac пользователя, и устраняет небольшую несовместимость MCP между Claude Code и этим клиентом.

Требования

• macOS. Установленная среда выполнения OpenAI в настоящее время требует macOS 14.4 или новее.

• Claude Code с поддержкой плагинов. Проверена версия 2.1.223.

• ChatGPT или Codex с установленным и работающим OpenAI Computer Use.

• Разрешения на доступ к специальным возможностям и запись экрана, предоставленные среде выполнения OpenAI Computer Use.

Мост ищет клиент Computer Use по адресу:

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

Если CODEX_HOME не задан, по умолчанию используется ~/.codex.

Related MCP server: mlx-mcp-server

Установка в качестве плагина Claude Code

В сессии Claude Code:

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

Или из оболочки:

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

Новые сессии автоматически загружают навык Computer Use и MCP-сервер.

Проверьте установку с помощью:

/plugin
/mcp

Установка MCP-моста из npm

Рекомендуется установка плагина, так как она включает как MCP-мост, так и навык Computer Use. Пакет npm также можно использовать как автономный stdio MCP-сервер:

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

Или как прямая запись в .mcp.json:

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

Эта установка только MCP не загружает встроенный навык. Предпочитайте плагин, если только MCP-клиент не предоставляет собственные инструкции Computer Use.

Использование

Попросите Claude использовать Computer Use явно или опишите задачу на рабочем столе:

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

Встроенный навык инструктирует Claude использовать наблюдаемый цикл состояние/действие/состояние:

1. Прочитать целевое приложение с помощью get_app_state.

2. Использовать элементы специальных возможностей, когда они доступны, и координаты скриншота только как запасной вариант.

3. Выполнить действие.

4. Получить свежее состояние приложения перед принятием решения о следующем действии.

Как это работает

Сервис OpenAI Computer Use аутентифицирует происхождение процесса клиента. Запуск его MCP-клиента напрямую из Claude Code отклоняется как неаутентифицированный отправитель. Поэтому мост использует подписанный исполняемый файл Codex, входящий в состав ChatGPT или Codex, в качестве запускателя процесса:

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex не используется как агент, и мост не отправляет запросы к моделям OpenAI. Он запускает codex sandbox с отключенным/неограниченным профилем разрешений Codex, чтобы подписанный клиент мог получить доступ к своим обычным кэшам, службам macOS и Unix-сокетам.

Клиент Computer Use требует, чтобы его MCP-клиент объявлял возможность elicitation и отвечал на запросы доступа к приложениям через нее. Мост гарантирует наличие этой возможности при initialize и автоматически принимает запрос доступа к приложениям, поэтому сессии работают без участия пользователя. Все остальные сообщения JSON-RPC, включая блоки изображений скриншотов, проходят без изменений.

Сервис Computer Use рассматривает подключенного клиента как активную блокировку управляемых приложений и освобождает их при выходе клиента. Codex завершает своего клиента в конце разговора, но Claude Code держит MCP-серверы плагинов активными в течение всей сессии. Поэтому мост завершает клиента через 60 секунд бездействия и перезапускает его по требованию, прозрачно воспроизводя записанное рукопожатие initialize, чтобы приложения не удерживались между задачами.

Сервис также ограничивает остановку, инициированную пользователем (отмена через Esc в оверлее), текущим «ходом» клиента, который никогда не заканчивается для долгоживущего клиента. Когда результат инструмента сообщает, что сессия приложения была остановлена пользователем, мост перезапускает клиента, чтобы следующий запрос начал новую сессию, а не наткнулся на ту же остановку.

Конфигурация

Переменные окружения:

Подписанный запускатель обнаруживается в следующем порядке:

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

Безопасность и поток данных

Установка этого пакета предоставляет Claude доступ к локальным инструментам Computer Use, которые могут читать скриншоты, кликать, печатать, прокручивать, перетаскивать и взаимодействовать с приложениями.

Мост намеренно:

• автоматически принимает запрос доступа к приложениям Computer Use MCP;

• запускает подписанного клиента с неограниченным профилем разрешений Codex;

• передает текст специальных возможностей и скриншоты обратно Claude как результаты инструментов MCP;

• освобождает клиента после тайм-аута бездействия, чтобы приложения не удерживались между задачами, и перезапускает его по требованию.

Claude Code может отправлять эти результаты инструментов настроенному провайдеру модели в рамках разговора. Не устанавливайте плагин, если такое поведение неприемлемо для приложений и данных на Mac.

Совместимость

Первоначальный выпуск был проверен с:

OpenAI Computer Use — это внутренняя интеграция для рабочего стола, а не стабильный сторонний SDK. Обновления ChatGPT, Codex или Computer Use могут изменить пути к бинарным файлам, правила аутентификации процессов или поведение протокола.

Разработка

Мост не имеет зависимостей npm во время выполнения.

pnpm install
pnpm test
pnpm smoke

pnpm test использует фиктивный сервер Computer Use и безопасен для запуска в любом месте. pnpm smoke подключается к реальному локальному сервису, вызывает list_apps и проверяет, что get_app_state возвращает как текст, так и скриншот в формате JPEG.

Устранение неполадок

Sender process is not authenticated

Клиент Computer Use был запущен напрямую, а не через подписанный запускатель Codex. Убедитесь, что ChatGPT или Codex установлены в /Applications, или задайте COMPUTER_USE_CODEX_LAUNCHER_PATH.

Computer Use client is missing

Сначала включите или переустановите OpenAI Computer Use, затем убедитесь, что его клиент существует в $CODEX_HOME/computer-use.

Client and server version mismatch

Закройте и перезапустите ChatGPT, чтобы его клиент Computer Use и среда выполнения обновились вместе, затем повторите дымовой тест.

This application session has been explicitly stopped by the user

Кто-то нажал Esc на оверлее Computer Use, что отменяет сессию приложения для текущего хода. Мост автоматически перезапускает клиента, так что просто попросите Claude продолжить, когда будете готовы.

ChatGPT still lists the app under Computer Use

Меню Computer Use в ChatGPT может продолжать показывать приложение (с действием «Stop Using …») после того, как мост освободил клиента. Сервис сохраняет запись сессии приложения, чтобы последующий ход мог возобновиться без нового одобрения, и только собственное отслеживание ходов Codex закрывает её. Внешние клиенты не имеют поддерживаемого способа отправить этот сигнал. Запись — это бухгалтерия: управляющий процесс клиента исчез, и новые сессии моста не затрагиваются. Очистите её с помощью действия «Stop Using …» в ChatGPT или закрыв ChatGPT.

SkyComputerUseClient computer-history processes linger

Это собственные помощники истории/записи ChatGPT, порождаемые его демоном codex app-server при каждом использовании Computer Use и остающиеся после. Они простаивают, не удерживают управление ни одним приложением и не управляются этим мостом. Клиент, которым управляет мост, запускается с простым аргументом mcp и завершается при освобождении по бездействию. Помощники завершаются при выходе из ChatGPT.

errAETimeout: the AppleEvent timed out

Сервис Computer Use не смог вовремя связаться с целевым приложением. Вызов может блокироваться на несколько минут. Повторите попытку один раз; если проблема сохраняется, закройте и перезапустите целевое приложение, и в крайнем случае закройте и перезапустите ChatGPT, чтобы его сервис Computer Use перезапустился.

Plugin changes do not appear

Перезапустите Claude Code или выполните /plugin marketplace update songkeys и переустановите. Claude Code использует кэшированную копию установленного плагина, поэтому редактирование копии не влияет на существующую установку до обновления плагина.

Лицензия и товарные знаки

Код моста доступен по лицензии MIT.

Этот проект является независимым и не связан с OpenAI или Anthropic, не одобрен и не спонсируется ими. OpenAI, ChatGPT, Codex, Anthropic, Claude и связанные названия могут быть товарными знаками их соответствующих владельцев. Пользователи должны предоставить и иметь лицензию на использование собственного программного обеспечения и учетных записей OpenAI и Anthropic.

Предшествующие работы

Этот проект является зеркалом kimi-computer-use, такого же моста для Kimi Code CLI.