open-computer-use

로컬에서 실행되는 MCP 서버로, AI 에이전트에게 데스크톱 위에서 눈과 손을 제공합니다. 에이전트는 앱의 인터페이스를 보고, 클릭하고, 입력하고, 스크롤하고, 드래그할 수 있습니다. 이 모든 작업은 접근성 계층을 통해 이루어지며, 실제 마우스와 키보드를 제어하지 않습니다. macOS, Windows, Linux에서 전적으로 사용자 머신 위에서 동작합니다.

도구

세 플랫폼 모두 동일한 9가지 핵심 도구:

추가로 창 수준의 다섯 가지 도구 — list_windows, get_window, get_window_state, launch_app, activate_window — 는 더욱 새로운 window2 API를 따르며 현재는 Windows에서 사용할 수 있습니다(macOS와 Linux는 준비 중).

Related MCP server: Automation MCP

빠른 시작

npm i -g open-computer-use
ocu doctor        # verify the install; macOS: prompts for permissions
ocu call list_apps

macOS 14 이상에서는 Accessibility 및 Screen Recording 권한을 한 번 허용해야 합니다. Windows와 Linux는 로그인한 데스크톱 세션에서 별도 설정 없이 동작합니다(Linux 데스크톱은 AT-SPI2가 필요한데, GNOME 등의 기본 제공 데스크톱이 포함합니다).

에이전트 연결

ocu install-codex-mcp      # Codex CLI & Codex App
ocu install-codex-plugin   # Codex App, plugin form
ocu install-claude-mcp     # Claude Code
ocu install-gemini-mcp     # Gemini CLI (--scope user for global)
ocu install-opencode-mcp   # opencode

다른 모든 MCP 클라이언트 — 수동으로 추가하세요:

{
  "mcpServers": {
    "open-computer-use": { "command": "open-computer-use", "args": ["mcp"] }
  }
}

ZCode

이 저장소는 ZCode 플러그인으로 배포됩니다 — 한 번 설치하면 스킬과 자동 연결된 MCP 서버를 얻을 수 있습니다:

1. 런타임을 한 번 설치합니다(로컬 빌드가 없으면 플러그인이 이 런타임으로 대체합니다):

   npm i -g open-computer-use

2. ZCode에서 설정(Settings) → 플러그인 관리(Plugin Management) → 찾기(Discover) 를 열고 + 를 클릭합니다.

3. 이 저장소를 추가합니다 — GitHub URL opensymph/open-computer-use 또는 로컬 체크아웃 디렉터리.

4. 목록에서 Open Computer Use를 찾고 받기(Get) 를 클릭합니다.

5. 새 세션을 시작합니다. 설정(Settings) → MCP 에 open-computer-use 가 연결된 상태로 표시되는지 확인한 다음, "내 화면에 있는 창을 나열해 줘" 라고 요청하면 됩니다.

나중에 제거하려면: 설치됨 탭 → Open Computer Use → 제거.

Agent Skill — 에이전트가 이 도구들을 능숙하게 이용하도록 안내하는 설치 가능 지침서입니다:

npx skills add opensymph/open-computer-use -g -a claude-code --skill open-computer-use -y

왜 이 프로젝트인가

• 설계상의 비-순차적 원칙. 합성 입력보다 접근성 API를 선호합니다. 명시적으로 전역 입력을 허용하지 않는 한, 실제로 마우스 포인터와 포커스, 전경 앱은 그대로 유지됩니다.

• 세 플랫폼, 하나의 규약. 모든 OS에서 동일한 도구 이름, 인자, 결과를 제공하므로 에이전트가 플랫폼별로 분기할 필요가 없습니다.

• 지켜볼 수 있는 커서. macOS에서는 동작이 시각적으로 표시되는 소프트웨어 커서를 구동하므로 에이전트가 하는 일을 따라갈 수 있습니다.

• 클라이언트 없이도 스크립트 가능. ocu call은 셸에서 어떤 도구든 실행하고 MCP 스타일 JSON을 출력합니다; --calls 플래그로 하나의 프로세스에서 연속된 시퀀스를 연결합니다.

• 내장된 안전장치. 비밀번호 관리자는 항상 거부됩니다. 앱 실행, 포커스 탈취, 전역 입력 주입은 각각 명시적인 환경 변수 게이트 뒤에 있습니다.

플랫폼 상태

문서

• 아키텍처 — 세 가지 런타임의 작동 방식

• 스킬 참조 — 사용법, 설치, 문제 해결

• 보안 정책 및 타사 고지

• 기여하기

라이선스

MIT