Claude Codex Computer Use

Un puente experimental y no oficial que permite que Claude Code controle aplicaciones locales de macOS a través de una instalación existente de OpenAI Computer Use.

El paquete no contiene binarios de OpenAI. Inicia el cliente Computer Use ya instalado en el Mac del usuario y traduce la pequeña brecha de compatibilidad MCP entre Claude Code y ese cliente.

Requisitos

• macOS. El runtime de OpenAI instalado actualmente declara macOS 14.4 o superior.

• Claude Code con soporte de plugins. La versión 2.1.223 está verificada.

• ChatGPT o Codex con OpenAI Computer Use instalado y funcionando.

• Permisos de Accesibilidad y Grabación de Pantalla otorgados al runtime de OpenAI Computer Use.

El puente busca el cliente Computer Use en:

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

Cuando CODEX_HOME no está definido, su valor predeterminado es ~/.codex.

Instalar como plugin de Claude Code

En una sesión de Claude Code:

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

O desde el shell:

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

Las nuevas sesiones cargan automáticamente la Skill Computer Use y el servidor MCP.

Inspecciona la instalación con:

/plugin
/mcp

Instalar el puente MCP desde npm

Se recomienda la instalación del plugin porque incluye tanto el puente MCP como la Skill Computer Use. El paquete npm también se puede usar como un servidor MCP stdio independiente:

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

O como una entrada directa en .mcp.json:

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

Esta instalación solo MCP no carga la Skill incluida. Prefiere el plugin a menos que el cliente MCP proporcione sus propias instrucciones de Computer Use.

Uso

Pídele a Claude que use Computer Use explícitamente, o describe una tarea de escritorio:

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

La Skill incluida instruye a Claude para usar un bucle observable estado/acción/estado:

1. Leer la aplicación objetivo con get_app_state.

2. Usar elementos de accesibilidad cuando estén disponibles y coordenadas de captura de pantalla solo como alternativa.

3. Realizar la acción.

4. Obtener un estado de la aplicación actualizado antes de decidir la siguiente acción.

Cómo funciona

El servicio OpenAI Computer Use autentica el linaje del proceso cliente. Iniciar su cliente MCP directamente desde Claude Code es rechazado como remitente no autenticado. Por lo tanto, el puente utiliza el ejecutable Codex firmado incluido con ChatGPT o Codex como lanzador de procesos:

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex no se utiliza como agente y el puente no realiza ninguna solicitud de modelo OpenAI. Ejecuta codex sandbox con el perfil de permisos deshabilitado/sin restricciones de Codex para que el cliente firmado pueda acceder a sus cachés normales, servicios de macOS y sockets Unix.

El cliente Computer Use requiere que su cliente MCP anuncie la capacidad de obtención y responde a las aprobaciones de acceso a la aplicación a través de ella. El puente garantiza que esa capacidad esté presente en initialize y acepta automáticamente la obtención de acceso a la aplicación, para que las sesiones funcionen sin supervisión. Todos los demás mensajes JSON-RPC, incluidos los bloques de imágenes de captura de pantalla, pasan sin cambios.

El servicio Computer Use trata a un cliente conectado como una retención activa de las aplicaciones controladas y las libera cuando el cliente se desconecta. Codex finaliza su cliente al final de una conversación, pero Claude Code mantiene los servidores MCP de los plugins activos durante toda la sesión. Por lo tanto, el puente termina el cliente después de 60 segundos sin tráfico y lo relanza bajo demanda, reproduciendo de forma transparente el handshake de initialize registrado, para que las aplicaciones no queden retenidas entre tareas.

Configuración

Variables de entorno:

El lanzador firmado se descubre en este orden:

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

Seguridad y flujo de datos

La instalación de este paquete le da a Claude acceso a las herramientas locales de Computer Use, que pueden leer capturas de pantalla, hacer clic, escribir, desplazarse, arrastrar e interactuar con aplicaciones.

El puente intencionalmente:

• acepta automáticamente la obtención de acceso a la aplicación de Computer Use MCP;

• lanza el cliente firmado con un perfil de permisos de Codex sin restricciones;

• devuelve texto de accesibilidad y capturas de pantalla a Claude como resultados de herramientas MCP;

• libera el cliente después de un tiempo de inactividad para que las aplicaciones no queden retenidas entre tareas, y lo relanza bajo demanda.

Claude Code puede enviar esos resultados de herramientas al proveedor de modelo configurado como parte de la conversación. No instales el plugin a menos que ese comportamiento sea aceptable para las aplicaciones y los datos en el Mac.

Compatibilidad

El lanzamiento inicial se verificó con:

OpenAI Computer Use es una integración de escritorio interna en lugar de un SDK de terceros estable. Las actualizaciones de ChatGPT, Codex o Computer Use pueden cambiar las rutas de los binarios, las reglas de autenticación de procesos o el comportamiento del protocolo.

Desarrollo

El puente no tiene dependencias npm en tiempo de ejecución.

pnpm install
pnpm test
pnpm smoke

pnpm test utiliza un servidor Computer Use falso y es seguro de ejecutar en cualquier lugar. pnpm smoke se conecta al servicio real local, llama a list_apps y verifica que get_app_state devuelva tanto texto como una captura de pantalla JPEG.

Solución de problemas

Sender process is not authenticated

El cliente Computer Use se inició directamente en lugar de a través del lanzador Codex firmado. Asegúrate de que ChatGPT o Codex esté instalado en /Applications, o establece COMPUTER_USE_CODEX_LAUNCHER_PATH.

Falta el cliente Computer Use

Habilita o reinstala OpenAI Computer Use primero, luego verifica que su cliente exista debajo de $CODEX_HOME/computer-use.

Discordancia de versión entre cliente y servidor

Cierra y vuelve a abrir ChatGPT para que su cliente Computer Use y su runtime se actualicen juntos, luego vuelve a intentar la prueba de humo.

Los cambios del plugin no aparecen

Reinicia Claude Code o ejecuta /plugin marketplace update songkeys y reinstala. Claude Code ejecuta una copia en caché del plugin instalado, por lo que editar un checkout no afecta a una instalación existente hasta que se actualice el plugin.

Licencia y marcas comerciales

El código del puente está disponible bajo la Licencia MIT.

Este proyecto es independiente y no está afiliado, respaldado ni patrocinado por OpenAI o Anthropic. OpenAI, ChatGPT, Codex, Anthropic, Claude y los nombres relacionados pueden ser marcas comerciales de sus respectivos propietarios. Los usuarios deben proporcionar y tener licencia para usar su propio software y cuentas de OpenAI y Anthropic.

Trabajo previo

Este proyecto refleja kimi-computer-use, el mismo puente para Kimi Code CLI.