🖥️ screen-use

browser-use、ただしデスクトップ全体向け。

あらゆるAIエージェントにWindows上での目👀と手🖐️を与えます — Claude、Kimi、Cursor、または独自エージェントに画面を見せ、UI要素を探させ、自然言語であらゆるデスクトップアプリを操作させます。セレクター不要。UIが変わると壊れるスクリプトも不要。

👆 クロスアプリ自律性: エージェントは電卓の結果を読み取り、メモ帳を起動し、そこに入力します — すべてのステップは画面を見ているVLMが決定します（下部にライブ思考ストリーム表示）。

シングルアプリエージェントループ（VLMが78 × 9を自ら計算）:

スクリプト化されたクロスアプリ（電卓 → メモ帳）:

シングルアプリ精密クリック:

なぜ

従来のRPAはセレクターを記録します — そしてページが変わった瞬間に壊れます。browser-use（32k⭐）はこれをブラウザ向けに解決しました。screen-useは同じアイデアをデスクトップ全体に持ち込みます: Excel、SAPクライアント、ERPソフトウェア、さらにはレガシーなWin32プログラムまで。

Related MCP server: WinPilot Computer Use MCP

仕組み

Your Agent (Claude / Kimi / Cursor / custom)   ← does the planning
        │  MCP or Python SDK
        ▼
┌─────────────────────────────────────────────┐
│ screen-use                                  │
│  Visual Loop ──► observe→think→act→verify   │
│  Introspection──► difficulty playbook        │
│  Meta-learning──► experience & vocab memory  │
│  Perception ──► UIA tree + screenshots (SoM)│
│  Locating   ──► strategy chain:             │
│                 ⓪ learned vocab mapping     │
│                 ① UIA text match (0 cost)   │
│                 ② Set-of-Mark + VLM         │
│  Action     ──► mouse / keyboard            │
└─────────────────────────────────────────────┘

VLMは必須ではなく、オプションです。 位置特定戦略チェーンは、純粋なアクセシビリティツリーのテキストマッチングでほとんどのターゲットをヒットします — モデル呼び出しゼロ、ミリ秒レイテンシ。ビジョンモデル（クラウドまたはOllama経由のローカル）は、UIAが盲点となるUIに対してのみ起動します。

クイックスタート

git clone https://github.com/tongriyaotxt/screen-use.git
cd screen-use
pip install -r requirements.txt

Kimi CLIプラグインとして（推奨）

1コマンド — Kimiは即座に14個のデスクトップツールをすべて取得:

kimi mcp add --transport stdio screen-use -- <path-to-python.exe> -m screen_use.mcp_server
kimi mcp test screen-use   # verify the connection

オプションで、同梱の使用戦略スキルをインストールすると、Kimiに最適なツール選択のプレイブックを教えられます:

mkdir -p ~/.kimi/skills/screen-use && cp skills/screen-use/SKILL.md ~/.kimi/skills/screen-use/

あとはKimiにこう伝えるだけ: 「電卓を開いて123 × 456を計算して」 または 「メモ帳の中身を読んで」。

汎用MCPサーバーとして

claude_desktop_config.json（またはMCP互換エージェントの設定）に追加:

{
  "mcpServers": {
    "screen-use": {
      "command": "python",
      "args": ["-m", "screen_use.mcp_server"],
      "cwd": "path/to/screen-use"
    }
  }
}

あとはエージェントにこう伝えるだけ: 「電卓を開いて123 × 456を計算して。」

Python SDKとして

from screen_use import ScreenUse

tools = ScreenUse()

tools.click_element("Save")            # locate + click, one call
tools.type_text("Hello, 你好")          # Unicode-safe (clipboard paste)
tools.hotkey("ctrl", "s")

# Atomic tools for vision-capable agents:
elements = tools.list_ui_elements()    # id, name, type, bbox — no model needed
shot = tools.screenshot(annotate=True) # Set-of-Mark annotated screenshot
tools.click(500, 300)

自律タスクループ

1回の呼び出しで完全自律 — エージェントは見て、決定し、行動し、自己修正します:

tools.run_task("打开计算器，算 25 乘以 4")   # observe → think → act → verify

内省（困难分类反思）: ループが行き詰まったとき、難易度を分類します — 効果なし / ループ繰り返し / 連続失敗 / 要素欠落 / 予期しないポップアップ — そして対象を絞ったプロンプトプレイブックで反省し、戦略を調整します。

メタ学習（元学习）: 成功した実行は記憶されます。類似の過去タスクは経験ヒントとして呼び出され、学習された語彙マッピング（例: 「乗号」→ Multiply by）は戦略チェーンの新しい最初のレベルになります。使えば使うほど本当に良くなります。メモリは~/.screen_use/に保存されます。

ツール（14個）

アトミック（モデル依存ゼロ）: screenshot · list_ui_elements · click · double_click · right_click · click_element_id · type_text · hotkey · press · scroll

高レベル: find_element（戦略チェーン位置特定）· click_element（位置特定+クリック）· read_screen（VLM画面Q&A）· run_task（自律ビジュアルループ）

ビジョンモデル（オプション）

エージェントに視覚がなく、かつ対象アプリがUIA盲点の場合のみ必要です。.env.exampleを.envにコピー:

VLMを設定しなくても、アトミックツールとUIAマッチングは完全に機能します。

安全性

• 🚨 フェイルセーフ: マウスを左上隅に勢いよく移動すると即座に中止

• ✅ すべてのアクションを承認するconfirm_callbackフック（SDK）

• 🧪 ScreenUse(dry_run=True)で実行せずにアクションを記録

拡張性

screen-useは交換可能なレイヤーのセットとして設計されています — 各層はコアに触れずに拡張できます:

安全性フックもインターフェースの一部です: 人間参加型承認のconfirm_callback、シミュレーション用のdry_run、緊急停止用のPyAutoGUIフェイルセーフ。

ロードマップ

• UIA + SoM位置特定戦略チェーン

• MCPサーバー（14ツール）

• ローカルVLMサポート（Ollama）

• 自律ビジュアルループ（run_task）

• 内省プレイブック & メタ学習メモリ

• wait_for_element / 自動検証プリミティブ

• ドラッグ＆ドロップ

• VLM生座標フォールバック + OpenCVテンプレートマッチング（UIA盲点アプリ）

• macOS（Accessibility API）& Linuxサポート

• PyPIリリース

貢献歓迎 — 初心者向けタスクはissuesを参照してください。

開発

pytest tests -q                        # 61 unit tests, no desktop/VLM needed
python examples/demo_calculator.py     # end-to-end demo (real clicks!)
python examples/mcp_client_demo.py     # MCP handshake + tool list

ライセンス

MIT

screen-use = デスクトップ版browser-use: あらゆるAIエージェントに画面を見てデスクトップアプリを操作する能力を与えます。

• 従来のRPAではない: セレクターを記録せず、アクセシビリティツリー + ビジョンモデルでUIを理解、UIが変わっても怖くない

• あらゆるデスクトップアプリに対応: Excel、SAP、ERPクライアント、レガシーWin32プログラム

• 自然言語駆動: click_element("保存按钮") の一言で完了

• VLMはオプション: 戦略チェーンの第1レベルは純粋なUIAテキストマッチング（モデルゼロ、ミリ秒）、ビジョンモデルは盲点のみのフォールバック、ローカルOllamaでプライバシー保護

接続方法、ツールリスト、安全設定は上記の英語版と同じです。