Mobile Next - モバイル開発と自動化のためのMCPサーバー | iOS、Android、シミュレーター、エミュレーター、物理デバイス
これは、スケーラブルなモバイル自動化と、プラットフォームに依存しないインターフェースによる開発を可能にするモデルコンテキストプロトコル（MCP）サーバーです。iOSまたはAndroidの個別の知識は不要です。エミュレーター、シミュレーター、そして実機（iOSおよびAndroid）で実行できます。このサーバーにより、エージェントとLLMは、構造化されたアクセシビリティスナップショットやスクリーンショットに基づく座標ベースのタップを通じて、ネイティブiOS/Androidアプリケーションやデバイスと対話できるようになります。
https://github.com/user-attachments/assets/c4e89c4f-cc71-4424-8184-bdbc8c638fa1
🚀 モバイル MCP ロードマップ: モバイルの未来を築く
Mobile MCPの継続的な改善にご協力ください。今後の機能、改善点、マイルストーンについては、詳細なロードマップをご覧ください。皆様からのフィードバックは、モバイルオートメーションの未来を形作る上で非常に貴重です。
主な使用例
モバイル自動化の拡張を支援する方法:
📲 テストまたはデータ入力シナリオ用のネイティブ アプリ自動化 (iOS および Android)。
📝 シミュレーター/エミュレーターや物理デバイス（iPhone、Samsung、Google Pixel など）を手動で制御せずに、スクリプト化されたフローとフォームのインタラクションを実行できます。
🧭 LLM を活用した複数ステップのユーザー ジャーニーの自動化
👆 エージェントベースのフレームワーク向けの汎用モバイルアプリケーションインタラクション
🤖 モバイル自動化ユースケース、データ抽出のためのエージェント間通信を可能にします
主な特徴
🚀高速かつ軽量: ほとんどのインタラクションにはネイティブのアクセシビリティ ツリーを使用し、a11y ラベルが利用できない場合はスクリーンショット ベースの座標を使用します。
🤖 LLM 対応: アクセシビリティ (スナップショット) ではコンピューター ビジョン モデルは必要ありません。
🧿視覚認識：画面上に実際にレンダリングされたものを評価・分析し、次のアクションを決定します。アクセシビリティデータやビュー階層座標が利用できない場合は、スクリーンショットベースの分析にフォールバックします。
📊決定論的なツールの適用: 可能な限り構造化されたデータに依存することで、純粋にスクリーンショットベースのアプローチに見られる曖昧さを軽減します。
📺構造化データの抽出: 画面に表示されているあらゆるものから構造化データを抽出できます。
Related MCP server: MCP Appium Server
🏗️ モバイル MCP アーキテクチャ
📚 ウィキページ
セットアップ、構成、デバッグ関連の質問については、 Wiki ページの詳細をご覧ください。
インストールと設定
Cursor、Claude、VS Code、Github Copilot を使用して MCP をセットアップします。
🛠️ 使い方 📝
MCPサーバーをIDE/クライアントに追加したら、AIアシスタントに利用可能なツールを使うように指示できます。例えば、Cursorのエージェントモードでは、以下のプロンプトを使って、UIインタラクションの検証、テスト、反復処理を迅速に実行したり、画面から情報を読み取ったり、複雑なワークフローを実行したりできます。簡潔で分かりやすい指示を心がけてください。
✨ 例題プロンプト
ワークフロー
詳細なワークフローを1つのプロンプトで指定し、ビジネスロジックを検証し、自動化を設定できます。思いっきり楽しんでください。
ビデオを検索し、コメントし、いいねして共有します。
成功した歩数計アプリをダウンロードし、登録し、ワークアウトを設定し、5アプリを起動します
Substackで検索し、記事を読んで、ハイライトし、コメントし、保存する
ワークアウトクラスを予約し、タイマーを設定する
地元のイベントを検索し、カレンダーイベントを設定する
天気予報をチェックして、Whatsapp/Telegram/Slack メッセージを送信します
Zoomで会議をスケジュールし、メールで招待状を共有する
前提条件
MCP をエージェントおよびモバイル デバイスに接続するために必要なもの:
MCP は、 Claude MCP 、 OpenAI Agent SDK 、 Copilot Studioなどの基本モデルまたはエージェントをサポートしています。
シミュレータ、エミュレータ、物理デバイス
起動すると、Mobile MCP は次のものに接続できます。
macOS/Linux上のiOSシミュレータ
Linux/Windows/macOS 上の Android エミュレータ
物理的な iOS または Android デバイス (適切なプラットフォーム ツールとドライバーが必要)
Mobile Next Mobile MCP を実行する前に、モバイル プラットフォーム SDK (Xcode、Android SDK) が適切にインストールされ、構成されていることを確認してください。
シミュレータ/エミュレータ上で「ヘッドレス」モードで実行する
物理的な電話がマシンに接続されていない場合は、エミュレーターまたはシミュレーターを使用してバックグラウンドで Mobile MCP を実行できます。
たとえば、Android の場合:
エミュレータを起動します (avdmanager / emulator コマンド)。
必要なフラグでモバイルMCPを実行する
iOS では、シミュレータ インスタンスで Mobile MCP を使用する前に、Xcode とシミュレータを実行する必要があります。
xcrun simctl listxcrun simctl boot "iPhone 16"
