Servidor MCP Moondream

Un potente servidor de Protocolo de Contexto de Modelo (MCP) que incorpora funciones avanzadas de análisis de imágenes a sus aplicaciones mediante el modelo de visión Moondream. Este servidor se integra a la perfección con Claude y Cline, creando un puente entre los asistentes de IA y las sofisticadas tareas de visión artificial.

Este NO es un paquete oficial de Moondream. Todo el mérito es de moondream.ai por crear el mejor modelo de visión de código abierto compatible con hardware de consumo.

✨ Características

• 🖼️ Subtítulos de imágenes : genere descripciones de imágenes en lenguaje natural

• 🔍 Detección de objetos : identifica y localiza objetos específicos dentro de las imágenes

• 💭 Respuestas visuales a preguntas : haz preguntas sobre el contenido de la imagen y recibe respuestas inteligentes

• 🚀 Alto rendimiento : utiliza modelos cuantificados de 8 bits para una inferencia eficiente

• 🔄 Configuración automática : gestiona la descarga del modelo y la configuración del entorno

• 🛠️ Integración MCP : Protocolo estandarizado para un uso perfecto de las herramientas

Related MCP server: MCP OpenVision

🎯 Casos de uso

• Análisis de contenido : genere automáticamente descripciones para el contenido de las imágenes

• Accesibilidad : crear texto alternativo para usuarios con discapacidad visual

• Extracción de datos : extraiga información específica de imágenes mediante preguntas específicas

• Verificación de objetos : Confirmar la presencia de objetos específicos en imágenes

• Comprensión de escenas : analizar escenas complejas y sus componentes

🚀 Inicio rápido

Prerrequisitos

• Node.js v18 o superior

• Python 3.8+

• Administrador de paquetes UV (se instala automáticamente si no está presente)

Instalación

1. Clonar y configurar

git clone <repository-url>
cd moondream-server
pnpm install

2. Construir el servidor

pnpm run build

El servidor se encarga del resto automáticamente:

• Crea un entorno virtual de Python

• Instala UV si no está presente

• Descarga y configura el modelo Moondream

• Gestiona el proceso del servidor de modelos

Integración con Claude/Cline

Agregue a su archivo de configuración de MCP ( claude_desktop_config.json o cline_mcp_settings.json ):

{
  "mcpServers": {
    "moondream": {
      "command": "node",
      "args": ["/path/to/moondream-server/build/index.js"]
    }
  }
}

🛠️ Herramientas disponibles

analizar_imagen

Potente herramienta de análisis de imágenes con múltiples modos:

{
  "name": "analyze_image",
  "arguments": {
    "image_path": string,  // Path to image file
    "prompt": string       // Analysis command
  }
}

Tipos de indicaciones:

• "generate caption" : crea una descripción en lenguaje natural

• "detect: [object]" : busca objetos específicos (p. ej., "detect: coche")

• "[question]" - Responde preguntas sobre la imagen.

Ejemplos:

// Image Captioning
{
  "image_path": "photo.jpg",
  "prompt": "generate caption"
}

// Object Detection
{
  "image_path": "scene.jpg",
  "prompt": "detect: person"
}

// Visual Q&A
{
  "image_path": "painting.jpg",
  "prompt": "What colors are used in this painting?"
}

🔧 Detalles técnicos

Arquitectura

El servidor funciona como un sistema de dos componentes:

1. Capa de interfaz MCP

   • Maneja la comunicación del protocolo

   • Gestiona interfaces de herramientas

   • Procesa solicitudes/respuestas

2. Servidor de modelos Moondream

   • Ejecuta el modelo de visión

   • Análisis de imágenes de procesos

   • Proporciona puntos finales de API HTTP

Información del modelo

Utiliza el modelo cuantificado Moondream:

• Predeterminado: moondream-2b-int8.mf.gz

• Cuantización eficiente de 8 bits

• Descarga automática de Hugging Face

• Tamaño del modelo de ~500 MB

Actuación

• Inicio rápido con almacenamiento en caché automático

• Uso eficiente de la memoria mediante cuantificación

• Puntos finales de API responsivos

• Manejo de solicitudes concurrentes

🔍 Depuración

Problemas comunes y soluciones:

1. Problemas con la descarga del modelo

   # Manual model download
   wget https://huggingface.co/vikhyatk/moondream2/resolve/main/moondream-0_5b-int4.mf.gz

2. Conflictos del puerto del servidor

   • Puerto predeterminado: 3475

   • Verifique el proceso usando: lsof -i :3475

3. Entorno de Python

   • UV gestiona las dependencias

   • Comprobar registros en el directorio temporal

   • Entorno virtual en la carpeta temporal del sistema

🤝 Contribuyendo

¡Se agradecen las contribuciones! Áreas de interés:

• Soporte de modelo adicional

• Optimizaciones de rendimiento

• Nuevas capacidades de análisis

• Mejoras en la documentación

📄 Licencia

[Agregue la información de su licencia aquí]

🙏 Agradecimientos

• Equipo de modelos Moondream

• Comunidad del Protocolo de Contexto Modelo (MCP)

• Colaboradores y mantenedores