Claude Codex Computer Use

Un puente experimental y no oficial que permite a Claude Code controlar aplicaciones locales de macOS a través de una instalación existente de OpenAI Computer Use.

El paquete no contiene binarios de OpenAI. Inicia el cliente de Computer Use ya instalado en el Mac del usuario y traduce la pequeña brecha de compatibilidad MCP entre Claude Code y ese cliente.

Requisitos

• macOS. El runtime de OpenAI instalado actualmente requiere macOS 14.4 o posterior.

• Claude Code con soporte de plugins. La versión 2.1.223 está verificada.

• ChatGPT o Codex con OpenAI Computer Use instalado y funcionando.

• Permisos de Accesibilidad y Grabación de Pantalla otorgados al runtime de OpenAI Computer Use.

El puente busca el cliente de Computer Use en:

$CODEX_HOME/computer-use/Codex Computer Use.app/Contents/SharedSupport/
SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient

Cuando CODEX_HOME no está definido, su valor predeterminado es ~/.codex.

Related MCP server: mlx-mcp-server

Instalación como plugin de Claude Code

En una sesión de Claude Code:

/plugin marketplace add songkeys/claude-codex-computer-use
/plugin install claude-codex-computer-use@songkeys

O desde el shell:

claude plugin marketplace add songkeys/claude-codex-computer-use
claude plugin install claude-codex-computer-use@songkeys

Las nuevas sesiones cargan la Skill de Computer Use y el servidor MCP automáticamente.

Inspecciona la instalación con:

/plugin
/mcp

Instalación del puente MCP desde npm

Se recomienda la instalación del plugin porque incluye tanto el puente MCP como la Skill de Computer Use. El paquete npm también se puede usar como un servidor MCP stdio independiente:

claude mcp add computer-use -- npx -y claude-codex-computer-use@latest

O como una entrada directa en .mcp.json:

{
  "mcpServers": {
    "computer-use": {
      "command": "npx",
      "args": ["-y", "claude-codex-computer-use@latest"]
    }
  }
}

Esta instalación solo MCP no carga la Skill incluida. Prefiere el plugin a menos que el cliente MCP proporcione sus propias instrucciones de Computer Use.

Uso

Pídele a Claude que use Computer Use explícitamente, o describe una tarea de escritorio:

Use Computer Use to inspect Calculator and enter 42.

Open System Settings with Computer Use and tell me what page is visible.

La Skill incluida instruye a Claude a usar un bucle observable estado/acción/estado:

1. Lee la aplicación objetivo con get_app_state.

2. Usa elementos de accesibilidad cuando estén disponibles y coordenadas de captura de pantalla solo como alternativa.

3. Realiza la acción.

4. Obtén un estado de aplicación actualizado antes de decidir la siguiente acción.

Cómo funciona

El servicio de OpenAI Computer Use autentica el ancestro del proceso del cliente. Iniciar su cliente MCP directamente desde Claude Code es rechazado como un remitente no autenticado. Por lo tanto, el puente utiliza el ejecutable Codex firmado incluido con ChatGPT o Codex como lanzador de procesos:

Claude Code
  -> claude-codex-computer-use bridge
  -> signed Codex launcher
  -> OpenAI Computer Use MCP client
  -> OpenAI Computer Use service

Codex no se usa como agente y el puente no realiza ninguna solicitud de modelo de OpenAI. Ejecuta codex sandbox con el perfil de permisos deshabilitado/sin restricciones de Codex para que el cliente firmado pueda acceder a sus cachés normales, servicios de macOS y sockets Unix.

El cliente de Computer Use requiere que su cliente MCP anuncie la capacidad de elicitación y responda a las aprobaciones de acceso a aplicaciones a través de ella. El puente garantiza que esa capacidad está presente en initialize y acepta automáticamente la elicitación de acceso a aplicaciones, por lo que las sesiones funcionan sin supervisión. Todos los demás mensajes JSON-RPC, incluidos los bloques de imágenes de captura de pantalla, pasan sin cambios.

El servicio de Computer Use trata a un cliente conectado como una retención activa de las aplicaciones controladas y las libera cuando el cliente sale. Codex finaliza su cliente al final de una conversación, pero Claude Code mantiene los servidores MCP del plugin activos durante toda la sesión. Por lo tanto, el puente termina el cliente después de 60 segundos sin tráfico y lo relanza bajo demanda, reproduciendo de forma transparente el handshake initialize registrado, para que las aplicaciones no se mantengan entre tareas.

El servicio también limita una parada iniciada por el usuario (la cancelación con Esc de la superposición) al "turno" actual del cliente, que nunca termina para un cliente de larga duración. Cuando un resultado de herramienta informa que la sesión de la aplicación fue detenida por el usuario, el puente recicla el cliente para que la siguiente solicitud inicie una sesión nueva en lugar de encontrarse con la misma parada nuevamente.

Configuración

Variables de entorno:

El lanzador firmado se descubre en este orden:

1. COMPUTER_USE_CODEX_LAUNCHER_PATH

2. /Applications/ChatGPT.app/Contents/Resources/codex

3. /Applications/Codex.app/Contents/Resources/codex

Seguridad y flujo de datos

Instalar este paquete le da a Claude acceso a las herramientas locales de Computer Use, que pueden leer capturas de pantalla, hacer clic, escribir, desplazarse, arrastrar e interactuar con aplicaciones.

El puente intencionalmente:

• acepta automáticamente la elicitación de acceso a aplicaciones de Computer Use MCP;

• lanza el cliente firmado con un perfil de permisos de Codex sin restricciones;

• devuelve texto de accesibilidad y capturas de pantalla a Claude como resultados de herramientas MCP;

• libera el cliente después de un tiempo de inactividad para que las aplicaciones no se mantengan entre tareas, y lo relanza bajo demanda.

Claude Code puede enviar esos resultados de herramientas al proveedor de modelo configurado como parte de la conversación. No instales el plugin a menos que ese comportamiento sea aceptable para las aplicaciones y datos en el Mac.

Compatibilidad

La versión inicial se verificó con:

OpenAI Computer Use es una integración de escritorio interna en lugar de un SDK estable de terceros. Las actualizaciones de ChatGPT, Codex o Computer Use pueden cambiar las rutas de los binarios, las reglas de autenticación de procesos o el comportamiento del protocolo.

Desarrollo

El puente no tiene dependencias npm en tiempo de ejecución.

pnpm install
pnpm test
pnpm smoke

pnpm test usa un servidor falso de Computer Use y es seguro ejecutarlo en cualquier lugar. pnpm smoke se conecta al servicio local real, llama a list_apps y verifica que get_app_state devuelva tanto texto como una captura de pantalla JPEG.

Solución de problemas

Sender process is not authenticated

El cliente de Computer Use se inició directamente en lugar de a través del lanzador Codex firmado. Asegúrate de que ChatGPT o Codex estén instalados en /Applications, o establece COMPUTER_USE_CODEX_LAUNCHER_PATH.

Falta el cliente de Computer Use

Habilita o reinstala OpenAI Computer Use primero, luego verifica que su cliente exista en $CODEX_HOME/computer-use.

Desajuste de versiones entre cliente y servidor

Sal y vuelve a abrir ChatGPT para que su cliente de Computer Use y runtime se actualicen juntos, luego vuelve a intentar la prueba de humo.

This application session has been explicitly stopped by the user

Alguien presionó Esc en la superposición de Computer Use, lo que cancela la sesión de la aplicación para el turno actual. El puente recicla el cliente automáticamente, así que simplemente pídele a Claude que continúe cuando estés listo.

ChatGPT sigue listando la aplicación en Computer Use

El menú de Computer Use de ChatGPT puede seguir mostrando una aplicación (con una acción "Stop Using …") después de que el puente haya liberado el cliente. El servicio mantiene su registro de sesión de la aplicación para que un turno posterior pueda reanudarse sin una nueva aprobación, y solo el propio seguimiento de turnos de Codex lo cierra. Los clientes externos no tienen una forma compatible de enviar esa señal. El registro es contable: el proceso del cliente controlador ha desaparecido y las nuevas sesiones del puente no se ven afectadas. Límpialo con la acción "Stop Using …" en ChatGPT, o saliendo de ChatGPT.

Procesos SkyComputerUseClient computer-history persistentes

Estos son los asistentes de historial/grabación propios de ChatGPT, generados por su daemon codex app-server cada vez que se usa Computer Use y mantenidos después. Están inactivos, no tienen control de ninguna aplicación y no son gestionados por este puente. El cliente que gestiona el puente se ejecuta con un argumento mcp simple y sale al liberarse por inactividad. Los asistentes salen cuando ChatGPT se cierra.

errAETimeout: the AppleEvent timed out

El servicio de Computer Use no pudo alcanzar la aplicación objetivo a tiempo. La llamada puede bloquearse durante unos minutos. Reintenta una vez; si persiste, sal y vuelve a abrir la aplicación objetivo y, como último recurso, sal y vuelve a abrir ChatGPT para que su servicio de Computer Use se reinicie.

Los cambios en el plugin no aparecen

Reinicia Claude Code o ejecuta /plugin marketplace update songkeys y reinstala. Claude Code ejecuta una copia en caché del plugin instalado, por lo que editar un checkout no afecta a una instalación existente hasta que el plugin se actualice.

Licencia y marcas comerciales

El código del puente está disponible bajo la Licencia MIT.

Este proyecto es independiente y no está afiliado, respaldado o patrocinado por OpenAI o Anthropic. OpenAI, ChatGPT, Codex, Anthropic, Claude y los nombres relacionados pueden ser marcas comerciales de sus respectivos propietarios. Los usuarios deben proporcionar y tener licencia para usar su propio software y cuentas de OpenAI y Anthropic.

Trabajo previo

Este proyecto es un espejo de kimi-computer-use, el mismo puente para Kimi Code CLI.