MCP Desktop Automation

MCPデスクトップオートメーション

RobotJSを使用したデスクトップ自動化機能とスクリーンショット機能を提供するモデルコンテキストプロトコルサーバー。このサーバーにより、LLMはマウスの動きやキーボード入力を制御し、デスクトップ環境のスクリーンショットをキャプチャできます。

デスクトップオートメーションサーバーを使用するための構成

MCP Desktop Automation サーバーを使用するように Claude Desktop を構成する方法は次のとおりです。

NPX

権限

このサーバーには、次のシステムレベルの権限が必要です。

• 画面のスクリーンショットをキャプチャする
• マウスの動きとクリックを制御する
• キーボード入力をシミュレートする

このサーバーで Claude Desktop を初めて実行する場合、オペレーティング システムのセキュリティ設定でこれらの権限を付与する必要がある場合があります。

制限事項

このサーバーはさまざまな MCP クライアントで動作しますが、主に Claude Desktop でテストされています。

重要：現在の実装では、レスポンスサイズは1MBに制限されています。スクリーンキャプチャの場合、これは以下のことを意味します。

• 高解像度のスクリーンショットはこの制限を超えて失敗する可能性があります
• テストでは800x600の解像度が確実に機能することが確認されています
• 問題が発生した場合は、画面解像度を下げるか、特定の画面領域をキャプチャすることを検討してください。

要件

• Node.js (>=14.x)

コンポーネント

ツール

• 画面サイズを取得する
  • 画面の寸法を取得します
  • 入力パラメータは不要
• スクリーンキャプチャ
  • 現在の画面の内容をキャプチャします
  • 入力パラメータは不要
• キーボードを押す
  • キーボードのキーまたはキーの組み合わせを押す
  • 入力:
    • key (文字列、必須): 押すキー (例: 'enter'、'a'、'control')
    • modifiers （文字列の配列、オプション）: キーを押しながら押す修飾キー。可能な値: "control", "shift", "alt", "command"
• キーボードタイプ
  • 現在のカーソル位置にテキストを入力します
  • 入力: text (文字列、必須): 入力するテキスト
• マウスクリック
  • マウスクリックを実行します
  • 入力:
    • button (文字列、オプション、デフォルト: "left"): クリックするマウスボタン。可能な値: "left", "right", "middle"
    • double （ブール値、オプション、デフォルト：false）：ダブルクリックを実行するかどうか
• マウス移動
  • マウスを指定された座標に移動する
  • 入力:
    • x (数値、必須): X座標
    • y (数値、必須): Y座標

リソース

サーバーはスクリーンショットへのアクセスを提供します:

1. スクリーンショットリスト( screenshot://list )
   • 利用可能なすべてのスクリーンショットを名前別に一覧表示します
2. スクリーンショットコンテンツ( screenshot://{id} )
   • キャプチャしたスクリーンショットのPNG画像
   • スクリーンショットID（タイムスタンプベースの命名）でアクセス可能

主な特徴

• デスクトップマウスコントロール
• キーボード入力シミュレーション
• 画面サイズの検出
• スクリーンショット機能
• シンプルなJSONレスポンス形式

ライセンス

このMCPサーバーはMITライセンスに基づいてライセンスされています。つまり、MITライセンスの条件に従って、ソフトウェアを自由に使用、改変、配布することができます。詳細については、プロジェクトリポジトリのLICENSEファイルをご覧ください。