Skip to main content
Glama

open-computer-use

Release 简体中文

一个本地 MCP 服务器,为 AI 智能体装上眼和手,让它能操作你的桌面。智能体可以看到应用的界面,并执行点击、输入、滚动、拖拽,全程通过无障碍层完成,不会接管你真实的鼠标和键盘。它完全在你的机器上本地运行,支持 macOS、Windows 和 Linux。

工具

九个核心工具,在三大平台上完全一致:

工具

功能说明

list_apps

列出正在运行和最近使用的应用。

get_app_state

读取应用的辅助功能树并截图。

click

通过 element_index 或截图坐标点击。

perform_secondary_action

调用元素自身的辅助操作。

scroll

按页滚动元素,或按像素增量滚动窗口。

drag

在两个坐标之间拖拽。

type_text

输入文本,Unicode 兼容,后台优先。

press_key

按下按键或组合键(ctrl+s、return、page_up……)。

set_value

直接设置可编辑控件的值。

另有五个窗口级工具 — list_windows、get_window、get_window_state、launch_app、activate_window — 采用更新的 window2 API,目前仅在 Windows 上可用(macOS 和 Linux 正在开发中)。

Related MCP server: servo-mcp

快速开始

npm i -g open-computer-use
ocu doctor        # verify the install; macOS: prompts for permissions
ocu call list_apps

macOS 14+ 需要一次性授予 Accessibility 和 Screen Recording 权限。Windows 和 Linux 在已登录的桌面会话中开箱即用(Linux 桌面需要 AT-SPI2,GNOME 等桌面环境默认已包含)。

连接你的智能体

ocu install-codex-mcp      # Codex CLI & Codex App
ocu install-codex-plugin   # Codex App, plugin form
ocu install-claude-mcp     # Claude Code
ocu install-gemini-mcp     # Gemini CLI (--scope user for global)
ocu install-opencode-mcp   # opencode

其他 MCP 客户端 — 自动手动添加:

{
  "mcpServers": {
    "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] }
  }
}

ZCode

本仓库以 ZCode 插件形式发布 — 一次安装即可获得技能和一个自动连接的 MCP 服务器:

  1. 安装一次运行时(当本地没有构建版本时,插件会回退使用它):

    npm i -g open-computer-use
  2. 在 ZCode 中打开 设置 → 插件管理 → 发现,然后点击 +。

  3. 添加此仓库 — 使用 GitHub URL opensymph/open-computer-use,或指向一个本地检出目录。

  4. 在列表中找到 open-computer-use,然后点击 获取。

  5. 开启一个新会话。确认 设置 → MCP 中显示 open-computer-use 已连接,然后直接说:“列出我屏幕上的窗口”。

以后要卸载它:已安装标签页 → Open Computer Use → 卸载。

所选工具

智能体技能 — 可安装的指导,教智能体如何用好这些工具:

npx skills add opensymph/open-computer-use -g -a claude-code --skill open-computer-use -y

为什么选它

  • 非侵入式设计。 优先通过无障碍 API 而非底层模拟输入;你的真实指针、焦点和前台应用始终不受干扰,除非你明确开启全局输入。

  • 三大平台,同一套约定。 无论哪个操作系统,工具名称、参数和结果一致 — 智能体无需为不同平台分别编写分支逻辑。

  • 一眼可见的指针。 在 macOS 上,操作会驱动一个可见的软件光标,方便你全程围观智能体的操作。

  • 无需客户端即可脚本化使用。 ocu call 可在你的 shell 中运行任何工具并输出 MCP 风格的 JSON;--calls 可在一个进程中串联多个操作。

  • 内置安全护栏。 密码管理器总是被拒绝访问。启动应用、抢占焦点以及注入全局输入,每个操作都有明确的环境变量开关注扇。

平台支持状态

平台

运行时

说明

macOS

Swift

可视化光标、权限引导、sky_click 后台点击。

Windows

Go,单体积 exe

基于 UI Automation + Win32,进程隔离式操作,完整的 window2 API。

Linux

Go,单二进制文件

基于 D-Bus 的原生 AT-SPI2,零运行时依赖。

文档

许可证

MIT

Related MCP Connectors

Related MCP Servers

  • A
    license
    Not graded
    quality
    D
    maintenance
    Enables AI agents to see and control your desktop with tools for screenshots, clicks, typing, and more, all locally on macOS and Windows.
    180 npm
    MIT
  • A
    license
    Not graded
    quality
    C
    maintenance
    Enables coding agents to control other application windows by providing primitives for clicking, typing, capturing screenshots, and window management. Supports macOS, Windows, and Linux.
    MIT
  • A
    license
    A
    quality
    D
    maintenance
    Enables AI agents to control macOS desktop apps via screenshots, mouse clicks, keyboard input, accessibility queries, and AppleScript.
    11
    11 npm
    MIT