Integrations
Enables automation of native Android applications through accessibility snapshots or coordinate-based interactions, supporting both emulators and physical devices for testing, data-entry, and multi-step user journeys.
Provides platform-agnostic automation of iOS applications using accessibility trees and screenshots, allowing for scripted flows and form interactions on both simulators and physical devices without manual control.
Supports interaction with Samsung mobile devices for application testing and automation through structured accessibility snapshots or coordinate-based taps.
Mobile Next – MCP-Server für mobile Entwicklung und Automatisierung | iOS, Android, Simulator, Emulator und physische Geräte
Dies ist ein Model Context Protocol (MCP)-Server , der skalierbare mobile Automatisierung und Entwicklung über eine plattformunabhängige Schnittstelle ermöglicht und so spezielle iOS- oder Android-Kenntnisse überflüssig macht. Sie können ihn auf Emulatoren, Simulatoren und physischen Geräten (iOS und Android) ausführen. Dieser Server ermöglicht Agenten und LLMs die Interaktion mit nativen iOS-/Android-Anwendungen und -Geräten durch strukturierte Zugänglichkeits-Snapshots oder koordinatenbasiertes Tippen auf der Grundlage von Screenshots.
https://github.com/user-attachments/assets/c4e89c4f-cc71-4424-8184-bdbc8c638fa1
🚀 Mobile MCP-Roadmap: Die Zukunft des Mobilfunks gestalten
Begleiten Sie uns auf unserer Reise und entwickeln Sie Mobile MCP kontinuierlich weiter! Sehen Sie sich unsere detaillierte Roadmap an, um zukünftige Funktionen, Verbesserungen und Meilensteine kennenzulernen. Ihr Feedback ist für die Gestaltung der Zukunft der mobilen Automatisierung von unschätzbarem Wert.
Hauptanwendungsfälle
So helfen wir bei der Skalierung der mobilen Automatisierung:
- 📲 Native App-Automatisierung (iOS und Android) für Test- oder Dateneingabeszenarien.
- 📝 Geskriptete Abläufe und Formularinteraktionen ohne manuelle Steuerung von Simulatoren/Emulatoren oder physischen Geräten (iPhone, Samsung, Google Pixel usw.)
- 🧭 Automatisierung mehrstufiger Benutzerreisen, die von einem LLM gesteuert werden
- 👆 Allgemeine Interaktion mit mobilen Anwendungen für agentenbasierte Frameworks
- 🤖 Ermöglicht Agent-zu-Agent-Kommunikation für mobile Automatisierungsanwendungen und Datenextraktion
Hauptmerkmale
- 🚀 Schnell und leichtgewichtig : Verwendet native Zugänglichkeitsbäume für die meisten Interaktionen oder Screenshot-basierte Koordinaten, wo keine a11y-Beschriftungen verfügbar sind.
- 🤖 LLM-freundlich : In Accessibility (Snapshot) ist kein Computer-Vision-Modell erforderlich.
- 🧿 Visueller Sinn : Bewertet und analysiert, was tatsächlich auf dem Bildschirm dargestellt wird, um die nächste Aktion zu entscheiden. Wenn keine Zugänglichkeitsdaten oder Ansichtshierarchiekoordinaten verfügbar sind, wird auf eine Screenshot-basierte Analyse zurückgegriffen.
- 📊 Anwendung deterministischer Tools : Reduziert Mehrdeutigkeiten, die bei rein auf Screenshots basierenden Ansätzen auftreten, indem, wann immer möglich, auf strukturierte Daten zurückgegriffen wird.
- 📺 Strukturierte Daten extrahieren : Ermöglicht Ihnen, strukturierte Daten aus allem zu extrahieren, was auf dem Bildschirm sichtbar ist.
🏗️ Mobile MCP-Architektur
📚 Wiki-Seite
Weitere Einzelheiten zu Fragen zu Einrichtung, Konfiguration und Debugging finden Sie auf unserer Wiki-Seite .
Installation und Konfiguration
Richten Sie unser MCP mit Cursor, Claude, VS Code und Github Copilot ein:
Lesen Sie mehr in unserem Wiki ! 🚀
🛠️ Anwendung 📝
Nachdem Sie den MCP-Server zu Ihrer IDE/Ihrem Client hinzugefügt haben, können Sie Ihren KI-Assistenten anweisen, die verfügbaren Tools zu verwenden. Im Agentenmodus von Cursor können Sie beispielsweise die folgenden Eingabeaufforderungen verwenden, um UI-Interaktionen schnell zu validieren, zu testen und zu iterieren, Informationen vom Bildschirm abzulesen und komplexe Workflows zu durchlaufen. Seien Sie beschreibend und kommen Sie direkt auf den Punkt.
✨ Beispiel-Eingabeaufforderungen
Workflows
Sie können detaillierte Workflows in einer einzigen Eingabeaufforderung festlegen, die Geschäftslogik überprüfen und Automatisierungen einrichten. Sie können sich austoben:
Suchen Sie nach einem Video, kommentieren Sie es, liken Sie es und teilen Sie es.
Laden Sie eine erfolgreiche Schrittzähler-App herunter, registrieren Sie sich, richten Sie das Training ein und starten Sie die App
In Substack suchen, Artikel lesen, markieren, kommentieren und speichern
Reservieren Sie einen Trainingskurs, stellen Sie den Timer ein
Lokale Veranstaltung suchen, Kalenderereignis einrichten
Überprüfen Sie die Wettervorhersage und senden Sie eine WhatsApp-/Telegram-/Slack-Nachricht
- Planen Sie ein Meeting in Zoom und teilen Sie die Einladung per E-Mail
Voraussetzungen
Was Sie benötigen, um MCP mit Ihrem Agenten und Ihren Mobilgeräten zu verbinden:
- Xcode-Befehlszeilentools
- Android-Plattform-Tools
- node.js
- MCP unterstützte grundlegende Modelle oder Agenten, wie Claude MCP , OpenAI Agent SDK , Copilot Studio
Simulatoren, Emulatoren und physische Geräte
Nach dem Start kann Mobile MCP eine Verbindung herstellen mit:
- iOS-Simulatoren auf macOS/Linux
- Android-Emulatoren unter Linux/Windows/macOS
- Physische iOS- oder Android-Geräte (erfordert entsprechende Plattformtools und Treiber)
Stellen Sie sicher, dass Sie Ihre mobilen Plattform-SDKs (Xcode, Android SDK) installiert und ordnungsgemäß konfiguriert haben, bevor Sie Mobile Next Mobile MCP ausführen.
Ausführung im „Headless“-Modus auf Simulatoren/Emulatoren
Wenn kein physisches Telefon an Ihren Computer angeschlossen ist, können Sie Mobile MCP mit einem Emulator oder Simulator im Hintergrund ausführen.
Beispielsweise auf Android:
- Starten Sie einen Emulator (Befehl avdmanager / emulator).
- Führen Sie Mobile MCP mit den gewünschten Flags aus
Unter iOS benötigen Sie Xcode und müssen den Simulator ausführen, bevor Sie Mobile MCP mit dieser Simulatorinstanz verwenden.
xcrun simctl list
xcrun simctl boot "iPhone 16"
Danke an alle Mitwirkenden ❤️
Wir danken jedem, der dazu beigetragen hat, dieses Projekt zu verbessern.
You must be authenticated.
hybrid server
The server is able to function both locally and remotely, depending on the configuration or use case.
Tools
Ein Model Context Protocol-Server, der skalierbare mobile Automatisierung über eine plattformunabhängige Schnittstelle für iOS- und Android-Geräte ermöglicht und es Agenten und LLMs ermöglicht, mithilfe von Zugänglichkeits-Snapshots oder koordinatenbasierten Interaktionen mit mobilen Anwendungen zu interagieren.
- 🚀 Mobile MCP-Roadmap: Die Zukunft des Mobilfunks gestalten
- Hauptanwendungsfälle
- Hauptmerkmale
- 🏗️ Mobile MCP-Architektur
- 📚 Wiki-Seite
- Installation und Konfiguration
- Voraussetzungen
- Danke an alle Mitwirkenden ❤️
Related Resources
Related MCP Servers
- -securityAlicense-qualityA Model Context Protocol server that provides desktop automation capabilities using RobotJS and screenshot capabilities, enabling LLMs to control mouse movements, keyboard inputs, and capture screenshots of the desktop environment.Last updated -422JavaScriptMIT License
- AsecurityAlicenseAqualityA Model Context Protocol (MCP) server that enables AI assistants to control and interact with Android devices, allowing for device management, app debugging, system analysis, and UI automation through natural language commands.Last updated -2930PythonApache 2.0
- -securityAlicense-qualityA Model Context Protocol server that enables AI assistants to interact with Android devices through ADB, allowing for automated device management, app installation, file transfers, and screenshot capture.Last updated -112JavaScriptISC License
- -securityAlicense-qualityA Model Context Protocol server that enables LLMs to interact with web pages through structured accessibility snapshots, providing browser automation capabilities without requiring screenshots or visually-tuned models.Last updated -TypeScriptApache 2.0