Claude Codex Computer Use

一个实验性的、非官方的桥梁，让 Claude Code 通过现有的 OpenAI Computer Use 安装来控制本地 macOS 应用程序。

该包不包含任何 OpenAI 二进制文件。它会启动用户 Mac 上已安装的 Computer Use 客户端，并弥合 Claude Code 与该客户端之间微小的 MCP 兼容性差距。

要求

• macOS。已安装的 OpenAI 运行时目前声明需要 macOS 14.4 或更高版本。

• 支持插件的 Claude Code。已验证版本 2.1.223。

• 已安装并可正常使用的 ChatGPT 或 Codex，且启用了 OpenAI Computer Use。

• 已授予 OpenAI Computer Use 运行时辅助功能和屏幕录制权限。

桥梁在以下位置查找 Computer Use 客户端：

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

当 CODEX_HOME 未设置时，默认为 ~/.codex。

Related MCP server: mlx-mcp-server

安装为 Claude Code 插件

在 Claude Code 会话中：

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

或者从 shell 中：

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

新的会话会自动加载 Computer Use Skill 和 MCP 服务器。

通过以下命令检查安装：

/plugin
/mcp

从 npm 安装 MCP 桥梁

推荐使用插件安装，因为它同时包含 MCP 桥梁和 Computer Use Skill。npm 包也可以作为独立的 stdio MCP 服务器使用：

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

或者作为直接的 .mcp.json 条目：

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

这种仅 MCP 的安装不会加载捆绑的 Skill。除非 MCP 客户端提供了自己的 Computer Use 指令，否则请优先选择插件。

使用方法

要求 Claude 明确使用 Computer Use，或描述一个桌面任务：

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

捆绑的 Skill 指示 Claude 使用一个可观察的状态/操作/状态循环：

1. 使用 get_app_state 读取目标应用程序。

2. 尽可能使用辅助功能元素，仅在降级情况下使用屏幕截图坐标。

3. 执行操作。

4. 在决定下一步操作之前，获取最新的应用程序状态。

工作原理

OpenAI Computer Use 服务会验证客户端进程的父进程链。直接从 Claude Code 启动其 MCP 客户端会被拒绝，视为未经验证的发送者。因此，桥梁使用与 ChatGPT 或 Codex 捆绑的签名 Codex 可执行文件作为进程启动器：

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

桥梁不会将 Codex 用作代理，也不会发起任何 OpenAI 模型请求。它使用 Codex 的禁用/无限制权限配置文件运行 codex sandbox，以便签名客户端能够访问其正常的缓存、macOS 服务和 Unix 套接字。

Computer Use 客户端要求其 MCP 客户端在 initialize 时声明 elicitation 能力，并通过该能力回应应用程序访问审批。桥梁确保该能力存在，并自动接受应用程序访问 elicitation，从而使会话可以无人值守地工作。所有其他 JSON-RPC 消息（包括截图图像块）都原样通过。

Computer Use 服务将已连接的客户端视为对被控制应用程序的活跃持有，并在客户端退出时释放它们。Codex 在对话结束时结束其客户端，但 Claude Code 会在整个会话期间保持插件 MCP 服务器活跃。因此，桥梁会在 60 秒无流量后终止客户端，并在需要时按需重新启动，透明地重放记录的 initialize 握手，从而确保应用程序不会在任务之间被持续持有。

该服务还将用户发起的停止（叠加层的 Esc 取消）限定为客户端当前的"轮次"，而对于长时间存活的客户端，这个"轮次"永远不会结束。当工具结果报告应用程序会话已被用户停止时，桥梁会回收客户端，以便下一个请求启动一个新的会话，而不是再次遇到相同的停止状态。

配置

环境变量：

签名启动器的发现顺序如下：

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

安全性和数据流

安装此包将使 Claude 能够访问本地 Computer Use 工具，这些工具可以读取屏幕截图、点击、输入、滚动、拖拽并与应用程序交互。

桥梁有意：

• 自动接受 Computer Use MCP 应用程序访问 elicitation；

• 使用无限制的 Codex 权限配置文件启动签名客户端；

• 将辅助功能文本和屏幕截图作为 MCP 工具结果传回给 Claude；

• 在空闲超时后释放客户端，以确保应用程序不会在任务之间被持续持有，并在需要时按需重新启动。

Claude Code 可能将这些工具结果作为对话的一部分发送给已配置的模型提供商。除非此行为对 Mac 上的应用程序和数据是可接受的，否则请勿安装该插件。

兼容性

初始版本已验证的组件：

OpenAI Computer Use 是一个内部桌面集成，而非稳定的第三方 SDK。ChatGPT、Codex 或 Computer Use 的更新可能会更改二进制路径、进程身份验证规则或协议行为。

开发

该桥梁没有运行时 npm 依赖项。

pnpm install
pnpm test
pnpm smoke

pnpm test 使用一个假的 Computer Use 服务器，可以在任何地方安全运行。 pnpm smoke 连接到真实的本地服务，调用 list_apps，并验证 get_app_state 是否同时返回文本和 JPEG 屏幕截图。

故障排除

Sender process is not authenticated

Computer Use 客户端是直接启动的，而不是通过签名的 Codex 启动器。确保 ChatGPT 或 Codex 已安装在 /Applications 中，或设置 COMPUTER_USE_CODEX_LAUNCHER_PATH。

Computer Use 客户端缺失

首先启用或重新安装 OpenAI Computer Use，然后验证其客户端是否存在于 $CODEX_HOME/computer-use 中。

客户端和服务器版本不匹配

退出并重新启动 ChatGPT，以便其 Computer Use 客户端和运行时一起更新，然后重试烟雾测试。

This application session has been explicitly stopped by the user

有人在 Computer Use 叠加层上按了 Esc，这会取消当前轮次的应用程序会话。桥梁会自动回收客户端，因此当您准备好时，只需要求 Claude 继续即可。

ChatGPT 仍在 Computer Use 下列出应用程序

在桥梁释放客户端后，ChatGPT 的 Computer Use 菜单可能仍会显示一个应用程序（带有"Stop Using …"操作）。服务会保留其应用程序会话记录，以便后续轮次可以在无需新审批的情况下恢复，只有 Codex 自身的轮次跟踪才能关闭它。外部客户端没有受支持的方式来发送该信号。该记录属于簿记：控制客户端进程已消失，新的桥梁会话不受影响。通过在 ChatGPT 中使用"Stop Using …"操作或退出 ChatGPT 来清除它。

SkyComputerUseClient computer-history 进程残留

这些是 ChatGPT 自身的历史/记录助手，由它的 codex app-server 守护进程在 Computer Use 被使用时生成，并在此后保留。它们处于空闲状态，不控制任何应用程序，也不由该桥梁管理。桥梁管理的客户端使用普通的 mcp 参数运行，并在空闲释放时退出。这些助手在 ChatGPT 退出时退出。

errAETimeout: the AppleEvent timed out

Computer Use 服务无法及时到达目标应用程序。该调用可能会阻塞几分钟。重试一次；如果问题仍然存在，退出并重新启动目标应用程序，作为最后手段，退出并重新启动 ChatGPT 以使其 Computer Use 服务重新启动。

插件更改未生效

重新启动 Claude Code 或运行 /plugin marketplace update songkeys 并重新安装。Claude Code 会运行已安装插件的缓存副本，因此在更新插件之前，编辑检出内容不会影响现有安装。

许可和商标

桥梁代码遵循 MIT 许可。

本项目是独立的，与 OpenAI 或 Anthropic 无关联、未获得其认可、也非其赞助。OpenAI、ChatGPT、Codex、Anthropic、Claude 及相关名称可能是其各自所有者的商标。用户必须提供并获得许可才能使用自己的 OpenAI 和 Anthropic 软件及账户。

先前作品

本项目镜像了 kimi-computer-use，后者是用于 Kimi Code CLI 的相同桥梁。