Mobile Next - モバイル開発と自動化のためのMCPサーバー | iOS、Android、シミュレーター、エミュレーター、物理デバイス
これは、スケーラブルなモバイル自動化と、プラットフォームに依存しないインターフェースによる開発を可能にするモデルコンテキストプロトコル（MCP）サーバーです。iOSまたはAndroidの個別の知識は不要です。エミュレーター、シミュレーター、そして実機（iOSおよびAndroid）で実行できます。このサーバーにより、エージェントとLLMは、構造化されたアクセシビリティスナップショットやスクリーンショットに基づく座標ベースのタップを通じて、ネイティブiOS/Androidアプリケーションやデバイスと対話できるようになります。
https://github.com/user-attachments/assets/c4e89c4f-cc71-4424-8184-bdbc8c638fa1
🚀 モバイル MCP ロードマップ: モバイルの未来を築く
Mobile MCPの継続的な改善にご協力ください。今後の機能、改善点、マイルストーンについては、詳細なロードマップをご覧ください。皆様からのフィードバックは、モバイルオートメーションの未来を形作る上で非常に貴重です。
👉ロードマップを見る
主な使用例
モバイル自動化の拡張を支援する方法:
- 📲 テストまたはデータ入力シナリオ用のネイティブ アプリ自動化 (iOS および Android)。
- 📝 シミュレーター/エミュレーターや物理デバイス（iPhone、Samsung、Google Pixel など）を手動で制御せずに、スクリプト化されたフローとフォームのインタラクションを実行できます。
- 🧭 LLM を活用した複数ステップのユーザー ジャーニーの自動化
- 👆 エージェントベースのフレームワーク向けの汎用モバイルアプリケーションインタラクション
- 🤖 モバイル自動化ユースケース、データ抽出のためのエージェント間通信を可能にします
主な特徴
- 🚀高速かつ軽量: ほとんどのインタラクションにはネイティブのアクセシビリティ ツリーを使用し、a11y ラベルが利用できない場合はスクリーンショット ベースの座標を使用します。
- 🤖 LLM 対応: アクセシビリティ (スナップショット) ではコンピューター ビジョン モデルは必要ありません。
- 🧿視覚認識：画面上に実際にレンダリングされたものを評価・分析し、次のアクションを決定します。アクセシビリティデータやビュー階層座標が利用できない場合は、スクリーンショットベースの分析にフォールバックします。
- 📊決定論的なツールの適用: 可能な限り構造化されたデータに依存することで、純粋にスクリーンショットベースのアプローチに見られる曖昧さを軽減します。
- 📺構造化データの抽出: 画面に表示されているあらゆるものから構造化データを抽出できます。
🏗️ モバイル MCP アーキテクチャ
📚 ウィキページ
セットアップ、構成、デバッグ関連の質問については、 Wiki ページの詳細をご覧ください。
インストールと設定
Cursor、Claude、VS Code、Github Copilot を使用して MCP をセットアップします。
{
"mcpServers": {
"mobile-mcp": {
"command": "npx",
"args": ["-y", "@mobilenext/mobile-mcp@latest"]
}
}
}
クロード・コード:
claude mcp add mobile -- npx -y @mobilenext/mobile-mcp@latest
詳しくはウィキをご覧ください！🚀
🛠️ 使い方 📝
MCPサーバーをIDE/クライアントに追加したら、AIアシスタントに利用可能なツールを使うように指示できます。例えば、Cursorのエージェントモードでは、以下のプロンプトを使って、UIインタラクションの検証、テスト、反復処理を迅速に実行したり、画面から情報を読み取ったり、複雑なワークフローを実行したりできます。簡潔で分かりやすい指示を心がけてください。
✨ 例題プロンプト
ワークフロー
詳細なワークフローを1つのプロンプトで指定し、ビジネスロジックを検証し、自動化を設定できます。思いっきり楽しんでください。
ビデオを検索し、コメントし、いいねして共有します。
Find the video called " Beginner Recipe for Tonkotsu Ramen" by Way of Ramen, click on like video, after liking write a comment " this was delicious, will make it next Friday", share the video with the first contact in your whatsapp list.
成功した歩数計アプリをダウンロードし、登録し、ワークアウトを設定し、5アプリを起動します
Find and Download a free "Pomodoro" app that has more thank 1k stars.
Launch the app, register with my email, after registration find how to start a pomodoro timer.
When the pomodoro timer started, go back to the app store and rate the app 5 stars,
and leave a comment how useful the app is.
Substackで検索し、記事を読んで、ハイライトし、コメントし、保存する
Open Substack website, search for "Latest trends in AI automation 2025", open the first article,
highlight the section titled "Emerging AI trends", and save article to reading list for later review,
comment a random paragraph summary.
ワークアウトクラスを予約し、タイマーを設定する
Open ClassPass, search for yoga classes tomorrow morning within 2 miles,
book the highest-rated class at 7 AM, confirm reservation,
setup a timer for the booked slot in the phone
地元のイベントを検索し、カレンダーイベントを設定する
Open Eventbrite, search for AI startup meetup events happening this weekend in "Austin, TX",
select the most popular one, register and RSVP yes to the even, setup a calendar event as a reminder.
天気予報をチェックして、Whatsapp/Telegram/Slack メッセージを送信します
Open Weather app, check tomorrow's weather forecast for "Berlin", and send the summary
via Whatsapp/Telegram/Slack to contact "Lauren Trown", thumbs up their response.
- Zoomで会議をスケジュールし、メールで招待状を共有する
Open Zoom app, schedule a meeting titled "AI Hackathon" for tomorrow at 10 AM with a duration of 1 hour,
copy the invitation link, and send it via Gmail to contacts "team@example.com".
前提条件
MCP をエージェントおよびモバイル デバイスに接続するために必要なもの:
シミュレータ、エミュレータ、物理デバイス
起動すると、Mobile MCP は次のものに接続できます。
- macOS/Linux上のiOSシミュレータ
- Linux/Windows/macOS 上の Android エミュレータ
- 物理的な iOS または Android デバイス (適切なプラットフォーム ツールとドライバーが必要)
Mobile Next Mobile MCP を実行する前に、モバイル プラットフォーム SDK (Xcode、Android SDK) が適切にインストールされ、構成されていることを確認してください。
シミュレータ/エミュレータ上で「ヘッドレス」モードで実行する
物理的な電話がマシンに接続されていない場合は、エミュレーターまたはシミュレーターを使用してバックグラウンドで Mobile MCP を実行できます。
たとえば、Android の場合:
- エミュレータを起動します (avdmanager / emulator コマンド)。
- 必要なフラグでモバイルMCPを実行する
iOS では、シミュレータ インスタンスで Mobile MCP を使用する前に、Xcode とシミュレータを実行する必要があります。
xcrun simctl listxcrun simctl boot "iPhone 16"
ご協力いただいた皆様に感謝いたします❤️
このプロジェクトの改善にご協力いただいた皆様に感謝いたします。