Clara Windows UI MCP

로컬 전용 MCP 서버로, Windows UI Automation 페이 안정적으로 노출되지 않는 서피스, 게임 창, 레거시 데스크톱 앱 같은 까라운 대상들을 위한 Windows UI 자동화를 제공합니다.

왜 이것이 존재하나

이장된 computer-use 흐름은 편리하지만, 게임 엔진이나 커스텀마 그래 크 파이프라인으로 렌더링되는 창은 어려울 수 있습니다. 이 MCP는 더 낮은 수준의 경로를 탡합니다:

• HWND를 통하 창을 열거하고 포커스를 맺습니다.

• 네이티브 Win32 API로 마음스와 키보드 입력을 구동합니다.

• 데스크톱 또는 대상 창을 PNG 파이로 캡처합니다.

• 같은 동작을 MCP stdio와 작은 로컬 HTTP API로 노출합니다.

Related MCP server: OmniFlow

현재 도구

• list_windows

• get_foreground_window

• focus_window

• capture_screen

• move_mouse

• click_mouse

• press_key

• type_text

비전 파운데이션

src/domain/vision 모듈은 소비가자 보는 공유 비전 계약을 정의합니다:

• SceneObservation은 캡처 출처, OCR, 감지 결과를 담습니다.

• SceneEvent은 옵션으로 시간이 따른 변화 알림을 위한 여유를 남겨 둡니다.

• VisionProfileRegistry는 예제, 훈련 세트, 규칙을 applicationId별로 격리합니다.

캡처 및 감지 구현은 의도적으로 이 파운데이션에 포함되지 않습니다. 소비자는 감지기 내부가 아니라 씬/이벤트 계약에 의존해야 합니다.

비전 서비스 및 트레이

네이티브 프로젝트는 Clara Cursor와 동일한 안전한 세션 경계를 사용합니다:

ClaraVisionBroker Windows service -> local named pipe -> ClaraVisionTray user-session agent

• 브로커는 상위 관찰 상태(paused 또는 observing)를 유지하고 로컬로 전달합니다.

• 트레이가 이 상태를 표시하고, 사용자가 관찰을 시작하거나 일시정지할 수 있게 합니다.

• 두 구성 요소 모두 데스크톱을 캡처하거나 자동화를 실행하지 않습니다. 향후 세션 에이전트는 대상 선택과 캡처 정책이 정해진 이후에만 기존의 옵t-인 캡처 파이프라인을 연결할 것입니다.

native/ClaraVisionServer와 native/ClaraVisionTrray를 Release 구성으로 빌드하세요. 그리고 나서 승격된 명령 프롭프터에서 scripts/install-vision-service.cmd를 실행하고, 인터랙티브 사용자 세션에서 scripts/install-vision-tray.cmd를 실행하세요.

실행

npm.cmd install
npm.cmd run build
npm.cmd run start:stdio

로컬 진단과 같다면:

npm.cmd run start:api

아키텍처 선택

• 실행 모드: stdio, api, 또는 both

• 배포 프로필: 로컬 전용

• 인증: 없음

• 저장: 캡처 대상 로컬 파이로만 출력

• 구석: 전송 어터를 사용하는 CQRS 스타일의 명령 및 쿼리

참고

• 스크린샷은 captures/ 폴더에 저장됩니다.

• 이 첫 번째 버전은 의도적으로 UIA를 피하므로, 게임과 캔버스 렌더링 앱에서 유용하게 쓰일 수 있습니다.

• 다음 논리적 업그레이드는 템플릿 이미지, 셱 영억, 또는 OCR을 이용한 대상 인식 매칭입니다.