open-computer-use

Un servidor MCP local que da a los agentes de IA ojos y manos en tu escritorio. Los agentes pueden ver la interfaz de una aplicación, hacer clic, escribir, desplazarse y arrastrar, a través de la capa de accesibilidad, sin apoderarse de tu ratón y teclado reales. Se ejecuta por completo en tu máquina, en macOS, Windows y Linux.

Las herramientas

Nueve herramientas centrales, idénticas en las tres plataformas:

Cinco herramientas adicionales a nivel de ventana — list_windows, get_window, get_window_state, launch_app, activate_window — siguen la API window2 más reciente y por ahora están disponibles en Windows (macOS y Linux en curso).

Related MCP server: Automation MCP

Inicio rápido

npm i -g open-computer-use
ocu doctor        # verify the install; macOS: prompts for permissions
ocu call list_apps

macOS 14+ necesita que se hayan concedido Accessibility y Screen Recording una vez. Windows y Linux funcionan directamente en una sesión de escritorio iniciada (los escritorios Linux necesitan AT-SPI2, que GNOME y compañía traen por defecto).

Conecta a tu agente

ocu install-codex-mcp      # Codex CLI & Codex App
ocu install-codex-plugin   # Codex App, plugin form
ocu install-claude-mcp     # Claude Code
ocu install-gemini-mcp     # Gemini CLI (--scope user for global)
ocu install-opencode-mcp   # opencode

Cualquier otro cliente MCP — con la ayuda de una guía manual:

{
  "mcpServers": {
    "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] }
  }
}

ZCode

Este repositorio se distribuye como un plugin ZCode — una instalación te da la habilidad y un servidor MCP auto-conectado:

1. Get a install a runtime without (the plugin falls back to the environment when there is no local compilation):

   npm i -g open-computer-use

2. In ZCode, open Ajustes → Administración de plugins → Discover and click +.

3. Añade este repositorio — la URL de GitHub opensymphony/open-computer-use, or a local checkout directory.

4. In the list, put Open Computer Use and click Get.

5. Inicia una sesión nueva. Comprueba que Ajustes → MCP muestra open-computer-use conectado y, no preguntes: Enumerar las ventanas de mi pantalla.

Later: Installed tab → Open Computer Use → uninstall (in reverse order).

Habilidad de agente — guía instalable que enseña a los agentes a utilizar bien estas herramientas:

npx skills add opensymph/open-computer-use -g -a claude-code --skill open-computer-use -y

¿Por qué elegir esta opción?

• No intrusivo por diseño. Te hago sugerencia y que la API de accesibilidad sea preferibles. In other words, your real pointer, focus, and foreground app stay in place otherwise no global input is explicitly requested.

• Tres plataformas, un contrato. The same tool names, arguments, and results on every OS — agents need no individualized settings.

• Un cursor que puedes ver. The macOS handles visible software cursor, so you can follow what the agent is doing.

• Puedes guiarlo sin un cliente. ocu fall ejecuta cualquier herramienta desde tu shell y exhibe un JSON estilo MCP; --calls concatena secuencias en un solo proceso.

• Guardarraíles integrados. Los administradores de contraseñas siempre son rechazados. Abrir aplicaciones, cambiar el foco y la inyección de entrada global son acciones que requerirán algo, each set, una variable de entorno explícita.

Estado de las plataformas

La documentación

• Arquitectura — cómo funcionan los tres motores

• Referencias de skill — uso, instalación, troubleshooting

• Política de seguridad and Terceas partes solicitantes

• Colabora](./CONTRIBUTING.md)

Licencia

Con MIT license you can use freely MIT.

open-computer-use

A local MCP server with AI agents eyes and hands on the virtual desktop for real tasks. A locals can see apps interface, detect, write, scroll, and drag — through the virtual interfaces, confirm without need to refer to a realistic keyboard or trackpad. They work fully on the local machine with macOS, Windows/Linux.

The tools

Nine core tools, identical across the three platforms:

Five additional window-level tools — list_windows, get_window, get_window_state, launch_app, activate_window — following the newer window2 API and are currently available on Windows (macOS/Linux in development).

Quick start

GPX1

macOS14+ needs Accessibility and Screen Recording once. Windows/Linux direct working in a opened desktop session (Linux desktops need RN-V).

Connect your agent

GPX2

For any other MCP client — **advanced manual:

GPX3

ZCode

This repo provides a ZCode plugin — one installation gives you the class vs e-MCP server:

1. Install yourself the engine once (the fallback to the engine if no local build):

   GPX4

2. In ZCode, open Settings → Plugin Management → Discover and click +.

3. Add this repo — GitHub opensymphony/open-computer-use, or a local checkout directory.

4. Find Open Computer Use in the list and click install.

5. Start a new session. Check Settings → MCP shows open-computer-use confirmed, then question "list the windows of my screen".

Remove later: Installed tab → Open Computer Use → uninstall.

Agent skill — installable guide that teaches agents to use these tools well:

GPX5

Why this one

• Non-invasive. The API is fashionable over synthetic input. Your real points, focus, and active app stay unchanged unless you explicitly choose global access.

• Three platforms, one contract. Same symbol names, arguments, and results—no need to branch.

• A cursor you can track. On macOS, actions move visible on-screen cursor, so you can see that response real-time.

• Scriptable without a client. ocu call executes any tool from the terminal and shows JSON style; --calls chain steps in the same process.

• Built-in barrier. Password managers are always forbidden. Launching apps, focus stealing, and global input all require an explicit environment gate.

Platform status

Documentation

• Architecture — how the three run-times work

• ** Skills** — usage, install, troubleshooting

• Security and Third-party notes

• Collaborate

License

MIT