Clara Windows UI MCP

ローカルのみで動作する Windows UI 自動化用の MCP サーバーです。ゲームウィンドウ、レガシーデスクトップアプ、UI Automation を確実に公開しないサーフェスなど、難しいターゲットを扱えます。

このツールが存在する理由

組み込みの computer-use フローは便利ですが、ゲームエンジンやカスタムグラフィックスパイプらインでレンダーされたウィンドウでは思うようにいかなことがあります。この MCP は、より低レベルな道を選びます:

• HWND 経由でウィンドウを列挙、フォーカスする

• ネイテブ Win32 API 経由でマウスとキーボード入力と操作する

• デスクトップまは対ウィンドウを PNG フアイルにキヤプチャする

• 同ーの動作を MCP std と小規模なローカル HTTP API でも公開する

Related MCP server: OmniFlow

現在のツールセット

• list_windows

• get_foreground_window

• focus_window

• capture_screen

• move_mouse

• click_mouse

• press_key

• type_text

ビジョン基盤

src/domain/vision モジュールは、消費者向けのビジョン契約とその実装を定義します:

• SceneObservation は、キヤプチャの入手経路、文字認識、検出結果を保持します。

• SceneEvent は、任意の時間に発生する変化を通知するための拡張する予定されています。

• VisionProfileRegistry は、applicationId ごとにサンプル、トレーニン辞参照、ルールを分離します。

キヤプチャと検出の実装は、意図的にこの基盤の外に置かれています。消費者は、実装の内部ではなく、シーン/イベント契約に頼る必要があります。

ビジョンサービスとトーイ

ネイティブのプロジェクトは、Clara Cursor と同じ安全なセッション境界を共有しています:

ClaraVisionBroker Windows service -> local named pipe -> ClaraVisionTray user-session agent

• ブローカは高レベルの観測状態（paused または observing）を永続し、ローカルに中継します。

• トーイはその状態を表示し、ユーザーが観測の開始/一時停止できます。

• どちらのコーネントも、デスクトップのキヤプチャや自動化物理化をしま。将来のセッション・エージェントは、対ターゲット選択とキヤプチャ・ポリシーが定義された後でのみ、既存のオプトイン・キヤプチャを結続します。

native/CaraVisionBroker と native/ClaraVisionTay を Release ビルドします。それ後、昇コマンドプロンプトから scripts/install-vision-service.cmd を、対話ユーザーセッションから scripts/install-vision-broker.cmd を実行します。

実行

npm.cmd install
npm.cmd run build
npm.cmd run start:stdio

ローカルでの診断には:

npm.cmd run start:api

アーキテクチャの選択

• 実行モード: 配布方式: stdio、api、または both

• 導入プロファイル: ローカルのみ

• 認証: 不要

• ストレージ: 各キャプチャのみローカルファイルへ出力

• 組織: トランスポートアダプタ付きの CQRS スタイルの操作と照会

注記

• スクリーンショットは、captures/ に出力されます。

• このエージェントは、最初から UIA の使用を避けているため、二次元レンダリングのアプリでも利用できます。

• 次に有力な拡張は、テンプレート画像やピクセル領域、OCR による対象認識の対応です。