mcp-remote-macos-use

by baryhuang
Verified

remote-capable server

The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.

Integrations

  • Enables remote control of macOS systems through screen sharing, allowing AI agents to capture screenshots, send keyboard inputs, control mouse movements, and interact with any macOS application without requiring additional software installation.

  • Provides a direct alternative to OpenAI Operator, allowing OpenAI models to interact with and control macOS systems through the MCP protocol.

  • Supports interaction with YouTube, as demonstrated in showcases where the system is used to create short highlight videos using applications like CapCut.

Servidor MCP: uso remoto de MacOS

El primer servidor MCP de código abierto que permite que la IA controle completamente los sistemas macOS remotos.

Una alternativa directa a OpenAI Operator, optimizada específicamente para agentes de IA autónomos con capacidades de escritorio completas, que no requiere instalación de software adicional.

Vitrinas

  • Investiga Twitter y publica en Twitter ( https://www.youtube.com/watch?v=--QHz2jcvcs )
  • Utilice CapCut para crear un video destacado corto ( https://www.youtube.com/watch?v=RKAqiNoU8ec )
  • AI Recruiter: recopilación automatizada de información de candidatos, calificación de solicitudes y envío de sesiones de selección mediante la aplicación de correo
  • Pasante de marketing de IA: interacción en LinkedIn: seguimiento, me gusta y comentarios automatizados con usuarios relevantes
  • Pasante de marketing de IA: interacción en Twitter: seguimiento, me gusta y comentarios automatizados con usuarios relevantes

Lista de tareas pendientes (priorizada)

  1. Optimización del rendimiento : iguala la velocidad de las alternativas de escritorio de Ubuntu
  2. Generación de scripts de Apple : reduzca el tiempo de ejecución manteniendo la flexibilidad
  3. Visibilidad del cursor de VNC : mejora la experiencia de depuración y demostración

¡Agradecemos sus contribuciones!

Características

  • Sin costos de API adicionales : procesamiento de pantalla gratuito con su plan Claude Pro existente
  • Configuración mínima : simplemente habilite Compartir pantalla en la Mac de destino; no se necesita software adicional
  • Compatibilidad universal : funciona con todas las versiones de macOS, actuales y futuras.

¿Por qué construimos esto?

Experiencia nativa de macOS sin concesiones

El ecosistema nativo de macOS sigue siendo inigualable en cuanto a experiencia de usuario y seguirá siendo el referente en los próximos años. Aquí es donde las capacidades humanas realmente prosperan, y ahora tu IA puede operar en este entorno con la misma fluidez.

Arquitectura abierta por diseño

  • Compatibilidad universal LLM : trabaje con cualquier cliente MCP de su elección
  • Flexibilidad del modelo : integración perfecta con OpenAI, Anthropic o cualquier otro proveedor de LLM
  • Integración a prueba de futuro : diseñada para evolucionar con el ecosistema MCP

Implementación sin esfuerzo

  • Configuración cero en las máquinas de destino : no se necesitan aplicaciones ni agentes en segundo plano en macOS
  • Compartir pantalla es todo lo que necesitas : controla cualquier Mac con la función Compartir pantalla habilitada
  • Elimina la complejidad del backend : a diferencia de otras soluciones que requieren ejecutar aplicaciones Python o servicios en segundo plano

Proceso Bootstrap optimizado

  • Aproveche la interfaz de usuario pulida de Claude Desktop : no necesita interfaces Python de estilo desarrollador
  • Experiencia de usuario intuitiva : interactúa con tu Mac controlada por IA a través de una interfaz familiar y fácil de usar.
  • Productividad instantánea : comience a trabajar de inmediato sin problemas de configuración

Arquitectura

Instalación

{ "mcpServers": { "remote-macos-use": { "command": "docker", "args": [ "run", "-i", "-e", "MACOS_USERNAME=your_macos_username", "-e", "MACOS_PASSWORD=your_macos_password", "-e", "MACOS_HOST=your_macos_hostname_or_ip", "-e", "LIVEKIT_API_KEY=your_livekit_api_key", "-e", "LIVEKIT_API_SECRET=your_livekit_api_secret", "-e", "LIVEKIT_HOST=your_livekit_host", "--rm", "buryhuang/mcp-remote-macos-use:latest" ] } } }

Compatibilidad con WebRTC a través de LiveKit

Este servidor ahora incluye soporte WebRTC a través de la integración de LiveKit, lo que permite:

  • Compartir pantalla en tiempo real con baja latencia
  • Rendimiento y capacidad de respuesta mejorados
  • Mejor eficiencia de red en comparación con el VNC tradicional
  • Adaptación automática de la calidad en función de las condiciones de la red

Para utilizar las funciones de WebRTC, necesitará:

  1. Configurar un servidor LiveKit o utilizar LiveKit Cloud
  2. Configure las variables de entorno de LiveKit como se muestra en el ejemplo de configuración anterior

Instrucciones para desarrolladores

Clonar el repositorio

# Clone the repository git clone https://github.com/yourusername/mcp-remote-macos-use.git cd mcp-remote-macos-use

Construyendo la imagen de Docker

# Build the Docker image docker build -t mcp-remote-macos-use .

Publicación multiplataforma

Para publicar la imagen de Docker en varias plataformas, puede usar el comando docker buildx . Siga estos pasos:

  1. Cree una nueva instancia de constructor (si aún no lo ha hecho):
    docker buildx create --use
  2. Construya y envíe la imagen para múltiples plataformas :
    docker buildx build --platform linux/amd64,linux/arm64 -t buryhuang/mcp-remote-macos-use:latest --push .
  3. Verifique que la imagen esté disponible para las plataformas especificadas :
    docker buildx imagetools inspect buryhuang/mcp-remote-macos-use:latest

Uso

El servidor proporciona funcionalidad MacOs remota a través de herramientas MCP.

Especificaciones de las herramientas

El servidor proporciona las siguientes herramientas para el control remoto de macOS:

Obtener pantalla remota de MacOS

Conéctese a una máquina macOS remota y obtenga una captura de pantalla del escritorio remoto.

teclas de envío remoto de MacOS

Envía entrada de teclado a una máquina macOS remota.

movimiento remoto del ratón de MacOS

Mueva el cursor del mouse a las coordenadas especificadas en una máquina macOS remota, con escala de coordenadas automática.

clic remoto del ratón en macOS

Realice un clic del mouse en coordenadas específicas en una máquina macOS remota, con escala de coordenadas automática.

doble clic remoto del ratón de macOS

Realice un doble clic con el mouse en coordenadas específicas en una máquina macOS remota, con escala de coordenadas automática.

desplazamiento remoto del ratón de macOS

Realice un desplazamiento del mouse en coordenadas específicas en una máquina macOS remota, con escala de coordenadas automática.

aplicación remota_macos_abierta

Abre/activa una aplicación y devuelve su PID para interacciones posteriores.

Arrastrar y soltar con el ratón remoto de MacOS

Realice una operación de arrastrar y soltar con el mouse desde el punto de inicio y soltar hasta el punto final en una máquina macOS remota, con escala de coordenadas automática.

Todas las herramientas utilizan las variables de entorno configuradas durante la instalación en lugar de requerir parámetros de conexión.

Limitaciones

  • Soporte de autenticación :
    • Solo se admite la autenticación de Apple (protocolo 30)

Nota de seguridad

https://support.apple.com/guide/remote-desktop/encrypt-network-data-apdfe8e386b/mac https://cafbit.com/post/apple\_remote\_desktop\_quirks/

Solo admitimos el protocolo 30, que utiliza el protocolo de acuerdo de clave Diffie-Hellman con un número primo de 512 bits. Este protocolo lo utilizan macOS 11 a macOS 12 al comunicarse con clientes de OS X 10.11 o anteriores.

Aquí está la información convertida en una tabla de rebajas:

Versión de macOS que ejecuta Escritorio remotoversión del cliente macOSAutenticaciónControlar y observarCopiar elementos o instalar el paqueteTodas las demás tareasVersión del protocolo
macOS 13macOS 13Claves de host RSA de 2048 bitsClaves de host RSA de 2048 bitsClaves de host RSA de 2048 bits para autenticar, luego AES de 128 bitsClaves de host RSA de 2048 bits36
macOS 13macOS 10.12Protocolo de contraseña remota segura (SRP) solo para uso local. Diffie-Hellman (DH), si está vinculado a un servidor LDAP o macOS, es la versión 10.11 o anterior.SRP o DH, AES de 128 bitsSRP o DH para autenticar, luego AES de 128 bitsClaves de host RSA de 2048 bits35
macOS 11 a macOS 12macOS 10.12 a macOS 13Protocolo de contraseña remota segura (SRP) solo para uso local, Diffie-Hellman si está vinculado a LDAPSRP o DH 1024 bits, AES de 128 bitsClaves de host RSA de 2048 bits de macOS 13 a macOS 10.13Claves de host RSA de 2048 bits macOS 10.13 o posterior33
macOS 11 a macOS 12OS X 10.11 o anteriorDH de 1024 bitsDH 1024 bits, AES de 128 bitsProtocolo de acuerdo de clave Diffie-Hellman con un número primo de 512 bitsProtocolo de acuerdo de clave Diffie-Hellman con un número primo de 512 bits30

Utilice siempre conexiones seguras y autenticadas al acceder a equipos MacOS remotos. Esta herramienta solo debe usarse con servidores de confianza y con permiso de acceso.

Cliente del agente de MacOs

Un agente ligero que se conecta a las salas de LiveKit para el control remoto de macOS. Incorpora nuestro sistema patentado "keep_eyes_open", que mejora significativamente la capacidad de respuesta y el rendimiento al mantener un conocimiento continuo del entorno sin sobrecarga de sondeo. Esto permite la ejecución de comandos y la retroalimentación casi en tiempo real a través de canales de datos bidireccionales eficientes.

Licencia

Instituto Tecnológico de Massachusetts (MIT)

ID: xe1mcwrxeu