Claude Codex Computer Use

一个实验性的、非官方的桥接工具，允许 Claude Code 通过现有的 OpenAI Computer Use 安装来控制本地 macOS 应用程序。

该包不包含 OpenAI 二进制文件。它启动用户 Mac 上已安装的 Computer Use 客户端，并弥合 Claude Code 与该客户端之间微小的 MCP 兼容性差距。

要求

• macOS。已安装的 OpenAI 运行时当前声明需要 macOS 14.4 或更高版本。

• 支持插件的 Claude Code。已验证版本 2.1.223。

• 已安装并正常运行的 ChatGPT 或 Codex（带有 OpenAI Computer Use）。

• 已授予 OpenAI Computer Use 运行时辅助功能和屏幕录制权限。

桥接工具会在以下位置查找 Computer Use 客户端：

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

当未设置 CODEX_HOME 时，默认值为 ~/.codex。

安装为 Claude Code 插件

在 Claude Code 会话中：

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

或从 shell 中：

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

新会话会自动加载 Computer Use Skill 和 MCP 服务器。

使用以下命令检查安装：

/plugin
/mcp

从 npm 安装 MCP 桥接工具

建议使用插件安装，因为它同时包含 MCP 桥接工具和 Computer Use Skill。npm 包也可以用作独立的 stdio MCP 服务器：

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

或作为直接的 .mcp.json 条目：

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

此仅 MCP 的安装不会加载捆绑的 Skill。除非 MCP 客户端提供自己的 Computer Use 指令，否则建议使用插件。

用法

明确要求 Claude 使用 Computer Use，或描述一个桌面任务：

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

捆绑的 Skill 指示 Claude 使用可观察的状态/动作/状态循环：

1. 使用 get_app_state 读取目标应用。

2. 尽可能使用辅助功能元素，仅将截图坐标作为后备方案。

3. 执行动作。

4. 在决定下一个动作之前获取最新的应用状态。

工作原理

OpenAI Computer Use 服务会验证客户端进程的祖先。直接从 Claude Code 启动其 MCP 客户端会被拒绝，因为发送者未经过身份验证。因此，桥接工具使用 ChatGPT 或 Codex 捆绑的已签名 Codex 可执行文件作为进程启动器：

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex 不作为代理使用，桥接工具也不会发起任何 OpenAI 模型请求。它使用 Codex 的禁用/无限制权限配置文件运行 codex sandbox，以便已签名的客户端可以访问其正常的缓存、macOS 服务和 Unix 套接字。

Computer Use 客户端要求其 MCP 客户端声明 elicitation 能力，并通过该能力响应应用访问批准。桥接工具确保在 initialize 时存在该能力，并自动接受应用访问 elicitation，从而使会话无需人工干预即可工作。所有其他 JSON-RPC 消息（包括截图图像块）均原样传递。

Computer Use 服务将已连接的客户端视为对受控应用的主动持有，并在客户端退出时释放它们。Codex 在对话结束时结束其客户端，但 Claude Code 会在整个会话期间保持插件 MCP 服务器运行。因此，桥接工具会在 60 秒无流量后终止客户端，并根据需要重新启动它，透明地重放记录的 initialize 握手，从而避免应用在任务之间被持有。

配置

环境变量：

已签名的启动器按以下顺序发现：

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

安全与数据流

安装此包后，Claude 可以访问本地 Computer Use 工具，这些工具可以读取截图、点击、输入、滚动、拖拽以及与应用程序交互。

桥接工具有意地：

• 自动接受 Computer Use MCP 应用访问 elicitation；

• 使用无限制的 Codex 权限配置文件启动已签名的客户端；

• 将辅助功能文本和截图作为 MCP 工具结果传回给 Claude；

• 在空闲超时后释放客户端，以便应用不会在任务之间被持有，并根据需要重新启动。

Claude Code 可能会将这些工具结果作为对话的一部分发送给已配置的模型提供商。除非该行为对于 Mac 上的应用程序和数据是可接受的，否则不要安装此插件。

兼容性

初始版本已验证以下组件：

OpenAI Computer Use 是一个内部桌面集成，而非稳定的第三方 SDK。ChatGPT、Codex 或 Computer Use 的更新可能会更改二进制路径、进程身份验证规则或协议行为。

开发

桥接工具没有运行时 npm 依赖项。

pnpm install
pnpm test
pnpm smoke

pnpm test 使用假的 Computer Use 服务器，可在任何地方安全运行。pnpm smoke 连接到真实的本地服务，调用 list_apps，并验证 get_app_state 同时返回文本和 JPEG 截图。

故障排除

Sender process is not authenticated

Computer Use 客户端是直接启动的，而不是通过已签名的 Codex 启动器。请确保 ChatGPT 或 Codex 安装在 /Applications 中，或设置 COMPUTER_USE_CODEX_LAUNCHER_PATH。

Computer Use 客户端缺失

首先启用或重新安装 OpenAI Computer Use，然后验证其客户端是否存在于 $CODEX_HOME/computer-use 下。

客户端与服务器版本不匹配

退出并重新启动 ChatGPT，以便其 Computer Use 客户端和运行时一起更新，然后重试冒烟测试。

插件更改未生效

重新启动 Claude Code 或运行 /plugin marketplace update songkeys 并重新安装。Claude Code 运行已安装插件的缓存副本，因此在插件更新之前，编辑检出不会影响现有安装。

许可证与商标

桥接代码根据 MIT 许可证 提供。

本项目是独立的，与 OpenAI 或 Anthropic 无关联、未经其认可或赞助。OpenAI、ChatGPT、Codex、Anthropic、Claude 及相关名称可能是其各自所有者的商标。用户必须提供并获得许可才能使用自己的 OpenAI 和 Anthropic 软件及账户。

先前作品

本项目镜像了 kimi-computer-use，这是针对 Kimi Code CLI 的相同桥接工具。