Integrations
Enables automation of native Android applications through accessibility snapshots or coordinate-based interactions, supporting both emulators and physical devices for testing, data-entry, and multi-step user journeys.
Provides platform-agnostic automation of iOS applications using accessibility trees and screenshots, allowing for scripted flows and form interactions on both simulators and physical devices without manual control.
Supports interaction with Samsung mobile devices for application testing and automation through structured accessibility snapshots or coordinate-based taps.
Mobile Next — сервер MCP для мобильной разработки и автоматизации | iOS, Android, симулятор, эмулятор и физические устройства
Это сервер Model Context Protocol (MCP) , который обеспечивает масштабируемую мобильную автоматизацию, разработку через платформенно-независимый интерфейс, устраняя необходимость в особых знаниях iOS или Android. Вы можете запустить его на эмуляторах, симуляторах и физических устройствах (iOS и Android). Этот сервер позволяет агентам и LLM взаимодействовать с собственными приложениями и устройствами iOS/Android через структурированные снимки доступности или касания на основе координат на основе снимков экрана.
https://github.com/user-attachments/assets/c4e89c4f-cc71-4424-8184-bdbc8c638fa1
🚀 Дорожная карта MCP для мобильных устройств: создание будущего мобильных устройств
Присоединяйтесь к нам в нашем путешествии, поскольку мы постоянно улучшаем Mobile MCP! Ознакомьтесь с нашей подробной дорожной картой, чтобы увидеть предстоящие функции, улучшения и вехи. Ваши отзывы бесценны в формировании будущего мобильной автоматизации.
Основные варианты использования
Как мы помогаем масштабировать мобильную автоматизацию:
- 📲 Автоматизация собственных приложений (iOS и Android) для сценариев тестирования или ввода данных.
- 📝 Запрограммированные потоки и взаимодействия форм без ручного управления симуляторами/эмуляторами или физическими устройствами (iPhone, Samsung, Google Pixel и т. д.)
- 🧭 Автоматизация многоэтапных пользовательских путей под руководством LLM
- 👆 Универсальное взаимодействие мобильных приложений для фреймворков на основе агентов
- 🤖 Обеспечивает взаимодействие между агентами для сценариев использования мобильной автоматизации и извлечения данных
Основные характеристики
- 🚀 Быстрый и легкий : использует собственные деревья доступности для большинства взаимодействий или координаты на основе снимков экрана, где метки a11y недоступны.
- 🤖 Подходит для LLM : для Accessibility (Snapshot) не требуется модель компьютерного зрения.
- 🧿 Визуальное восприятие : оценивает и анализирует то, что фактически отображается на экране, чтобы определить следующее действие. Если данные о доступности или координаты иерархии представлений недоступны, он возвращается к анализу на основе снимков экрана.
- 📊 Детерминированное применение инструмента : уменьшает неоднозначность, присущую подходам, основанным исключительно на снимках экрана, полагаясь на структурированные данные, когда это возможно.
- 📺 Извлечение структурированных данных : позволяет извлекать структурированные данные из всего, что отображается на экране.
🏗️ Архитектура мобильных MCP
📚 Вики-страница
Более подробную информацию по вопросам настройки, конфигурирования и отладки можно найти на нашей вики-странице .
Установка и настройка
Настройте наш MCP с помощью Cursor, Claude, VS Code, Github Copilot:
Подробнее читайте в нашей вики ! 🚀
🛠️ Как использовать 📝
После добавления сервера MCP в вашу IDE/клиент вы можете поручить вашему помощнику AI использовать доступные инструменты. Например, в режиме агента Cursor вы можете использовать подсказки ниже для быстрой проверки, тестирования и итерации взаимодействий пользовательского интерфейса, считывания информации с экрана, прохождения сложных рабочих процессов. Будьте описательными, переходите сразу к делу.
✨ Примеры подсказок
Рабочие процессы
Вы можете указать подробные рабочие процессы в одном запросе, проверить бизнес-логику, настроить автоматизацию. Вы можете сойти с ума:
Найдите видео, прокомментируйте, поставьте лайк и поделитесь им.
Загрузите успешное приложение-счетчик шагов, зарегистрируйтесь, настройте тренировку и запустите приложение.
Поиск в Substack, чтение, выделение, комментирование и сохранение статьи
Забронируйте тренировку, установите таймер
Найдите местное событие, настройте календарь событий
Проверьте прогноз погоды и отправьте сообщение в Whatsapp/Telegram/Slack
- Запланируйте встречу в Zoom и отправьте приглашение по электронной почте
Предпосылки
Что вам понадобится для подключения MCP к вашему агенту и мобильным устройствам:
- Инструменты командной строки Xcode
- Инструменты платформы Android
- узел.js
- Поддерживаемые MCP базовые модели или агенты, такие как Claude MCP , OpenAI Agent SDK , Copilot Studio
Симуляторы, эмуляторы и физические устройства
После запуска Mobile MCP может подключаться к:
- Симуляторы iOS на macOS/Linux
- Эмуляторы Android на Linux/Windows/macOS
- Физические устройства iOS или Android (требуются соответствующие инструменты платформы и драйверы)
Перед запуском Mobile Next Mobile MCP убедитесь, что у вас установлены и правильно настроены SDK для мобильной платформы (Xcode, Android SDK).
Запуск в режиме «headless» на симуляторах/эмуляторах
Если к вашему устройству не подключен физический телефон, вы можете запустить Mobile MCP с эмулятором или симулятором в фоновом режиме.
Например, на Android:
- Запустите эмулятор (команда avdmanager / emulator).
- Запустить Mobile MCP с нужными флагами
На iOS вам понадобится Xcode и запустить симулятор перед использованием Mobile MCP с этим экземпляром симулятора.
xcrun simctl list
xcrun simctl boot "iPhone 16"
Спасибо всем участникам ❤️
Мы ценим всех, кто помог улучшить этот проект.
You must be authenticated.
hybrid server
The server is able to function both locally and remotely, depending on the configuration or use case.
Tools
Сервер протокола контекста модели, который обеспечивает масштабируемую мобильную автоматизацию через платформенно-независимый интерфейс для устройств iOS и Android, позволяя агентам и магистрам уровня управления (LLM) взаимодействовать с мобильными приложениями, используя снимки доступности или взаимодействия на основе координат.
- 🚀 Дорожная карта MCP для мобильных устройств: создание будущего мобильных устройств
- Основные варианты использования
- Основные характеристики
- 🏗️ Архитектура мобильных MCP
- 📚 Вики-страница
- Установка и настройка
- Предпосылки
- Спасибо всем участникам ❤️
Related Resources
Related MCP Servers
- -securityAlicense-qualityA Model Context Protocol server that provides desktop automation capabilities using RobotJS and screenshot capabilities, enabling LLMs to control mouse movements, keyboard inputs, and capture screenshots of the desktop environment.Last updated -422JavaScriptMIT License
- AsecurityAlicenseAqualityA Model Context Protocol (MCP) server that enables AI assistants to control and interact with Android devices, allowing for device management, app debugging, system analysis, and UI automation through natural language commands.Last updated -2930PythonApache 2.0
- -securityAlicense-qualityA Model Context Protocol server that enables AI assistants to interact with Android devices through ADB, allowing for automated device management, app installation, file transfers, and screenshot capture.Last updated -112JavaScriptISC License
- -securityAlicense-qualityA Model Context Protocol server that enables LLMs to interact with web pages through structured accessibility snapshots, providing browser automation capabilities without requiring screenshots or visually-tuned models.Last updated -TypeScriptApache 2.0