YOLO MCP Server

by GongRzhe
Verified

local-only server

The server can only run on the client’s local machine because it depends on local resources.

Integrations

  • Supports exporting YOLO models to ONNX format for compatibility with different runtime environments

  • Leverages YOLO (You Only Look Once) models for advanced computer vision tasks including object detection, segmentation, classification, and pose estimation with support for model training, validation, and export

Servicio MCP de YOLO

Un potente servicio de visión artificial YOLO (You Only Look Once) que se integra con Claude AI mediante el Protocolo de Contexto de Modelo (MCP). Este servicio permite a Claude realizar detección de objetos, segmentación, clasificación y análisis de cámaras en tiempo real utilizando modelos YOLO de vanguardia.

Características

  • Detección de objetos, segmentación, clasificación y estimación de pose
  • Integración de cámara en tiempo real para la detección de objetos en vivo
  • Soporte para entrenamiento, validación y exportación de modelos
  • Análisis integral de imágenes que combina múltiples modelos
  • Compatibilidad con rutas de archivos e imágenes codificadas en base64
  • Integración perfecta con Claude AI

Instrucciones de configuración

Prerrequisitos

  • Python 3.10 o superior
  • Git (opcional, para clonar el repositorio)

Configuración del entorno

  1. Crea un directorio para el proyecto y navega hasta él:
    mkdir yolo-mcp-service cd yolo-mcp-service
  2. Descargue los archivos del proyecto o clónelos desde el repositorio:
    # If you have the files, copy them to this directory # If using git: git clone https://github.com/GongRzhe/YOLO-MCP-Server.git .
  3. Crear un entorno virtual:
    # On Windows python -m venv .venv # On macOS/Linux python3 -m venv .venv
  4. Activar el entorno virtual:
    # On Windows .venv\Scripts\activate # On macOS/Linux source .venv/bin/activate
  5. Ejecute el script de configuración:
    python setup.py
    El script de configuración hará lo siguiente:
    • Comprueba tu versión de Python
    • Crear un entorno virtual (si aún no está creado)
    • Instalar las dependencias necesarias
    • Generar un archivo de configuración MCP (mcp-config.json)
    • Información de configuración de salida para diferentes clientes MCP, incluido Claude
  6. Tenga en cuenta el resultado del script de configuración, que será similar a esto:
    MCP configuration has been written to: /path/to/mcp-config.json MCP configuration for Cursor: /path/to/.venv/bin/python /path/to/server.py MCP configuration for Windsurf/Claude Desktop: { "mcpServers": { "yolo-service": { "command": "/path/to/.venv/bin/python", "args": [ "/path/to/server.py" ], "env": { "PYTHONPATH": "/path/to" } } } } To use with Claude Desktop, merge this configuration into: /path/to/claude_desktop_config.json

Descarga de modelos YOLO

Antes de usar el servicio, debe descargar los modelos de YOLO. El servicio busca modelos en los siguientes directorios:

  • El directorio actual donde se ejecuta el servicio
  • Un subdirectorio models
  • Cualquier otro directorio configurado en la variable CONFIG["model_dirs"] en server.py

Crea un directorio de modelos y descarga algunos modelos comunes:

# Create models directory mkdir models # Download YOLOv8n for basic object detection curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt -o models/yolov8n.pt # Download YOLOv8n-seg for segmentation curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-seg.pt -o models/yolov8n-seg.pt # Download YOLOv8n-cls for classification curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-cls.pt -o models/yolov8n-cls.pt # Download YOLOv8n-pose for pose estimation curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-pose.pt -o models/yolov8n-pose.pt

Para usuarios de Windows PowerShell:

# Create models directory mkdir models # Download models using Invoke-WebRequest Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt" -OutFile "models/yolov8n.pt" Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-seg.pt" -OutFile "models/yolov8n-seg.pt" Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-cls.pt" -OutFile "models/yolov8n-cls.pt" Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-pose.pt" -OutFile "models/yolov8n-pose.pt"

Configurando Claude

Para utilizar este servicio con Claude:

  1. Para Claude web: configure el servicio en su máquina local y use la configuración proporcionada por el script de configuración en su cliente MCP.
  2. Para Claude Desktop:
    • Ejecute el script de configuración y observe el resultado de la configuración
    • Localice el archivo de configuración de Claude Desktop (la ruta se proporciona en la salida del script de configuración)
    • Agregue o fusione la configuración en su archivo de configuración de Claude Desktop
    • Reiniciar Claude Desktop

Uso de las herramientas YOLO en Claude

1. Primero verifique los modelos disponibles

Compruebe siempre primero qué modelos están disponibles en su sistema:

I'd like to use the YOLO tools. Can you first check which models are available on my system? <function_calls> <invoke name="list_available_models"> </invoke> </function_calls>

2. Detección de objetos en una imagen

Para analizar un archivo de imagen en su computadora:

Can you analyze this image file for objects? <function_calls> <invoke name="analyze_image_from_path"> <parameter name="image_path">/path/to/your/image.jpg</parameter> <parameter name="confidence">0.3</parameter> </invoke> </function_calls>

También puede especificar un modelo diferente:

Can you analyze this image using a different model? <function_calls> <invoke name="analyze_image_from_path"> <parameter name="image_path">/path/to/your/image.jpg</parameter> <parameter name="model_name">yolov8n.pt</parameter> <parameter name="confidence">0.4</parameter> </invoke> </function_calls>

3. Ejecución de un análisis de imágenes completo

Para un análisis más detallado que combine detección de objetos, clasificación y más:

Can you perform a comprehensive analysis on this image? <function_calls> <invoke name="comprehensive_image_analysis"> <parameter name="image_path">/path/to/your/image.jpg</parameter> <parameter name="confidence">0.3</parameter> </invoke> </function_calls>

4. Segmentación de imágenes

Para identificar los límites de los objetos y crear máscaras de segmentación:

Can you perform image segmentation on this photo? <function_calls> <invoke name="segment_objects"> <parameter name="image_data">/path/to/your/image.jpg</parameter> <parameter name="is_path">true</parameter> <parameter name="model_name">yolov8n-seg.pt</parameter> </invoke> </function_calls>

5. Clasificación de imágenes

Para clasificar todo el contenido de la imagen:

What does this image show? Can you classify it? <function_calls> <invoke name="classify_image"> <parameter name="image_data">/path/to/your/image.jpg</parameter> <parameter name="is_path">true</parameter> <parameter name="model_name">yolov8n-cls.pt</parameter> <parameter name="top_k">5</parameter> </invoke> </function_calls>

6. Uso de la cámara de su computadora

Inicie la detección de objetos en tiempo real utilizando la cámara de su computadora:

Can you turn on my camera and detect objects in real-time? <function_calls> <invoke name="start_camera_detection"> <parameter name="model_name">yolov8n.pt</parameter> <parameter name="confidence">0.3</parameter> </invoke> </function_calls>

Obtenga las últimas detecciones de cámara:

What are you seeing through my camera right now? <function_calls> <invoke name="get_camera_detections"> </invoke> </function_calls>

Detenga la cámara cuando termine:

Please turn off the camera. <function_calls> <invoke name="stop_camera_detection"> </invoke> </function_calls>

7. Operaciones avanzadas del modelo

Entrenamiento de un modelo personalizado

I want to train a custom object detection model on my dataset. <function_calls> <invoke name="train_model"> <parameter name="dataset_path">/path/to/your/dataset</parameter> <parameter name="model_name">yolov8n.pt</parameter> <parameter name="epochs">50</parameter> </invoke> </function_calls>

Validando un modelo

Can you validate the performance of my model on a test dataset? <function_calls> <invoke name="validate_model"> <parameter name="model_path">/path/to/your/trained/model.pt</parameter> <parameter name="data_path">/path/to/validation/dataset</parameter> </invoke> </function_calls>

Exportar un modelo a diferentes formatos

I need to export my YOLO model to ONNX format. <function_calls> <invoke name="export_model"> <parameter name="model_path">/path/to/your/model.pt</parameter> <parameter name="format">onnx</parameter> </invoke> </function_calls>

8. Prueba de conexión

Compruebe si el servicio YOLO se está ejecutando correctamente:

Is the YOLO service running correctly? <function_calls> <invoke name="test_connection"> </invoke> </function_calls>

Solución de problemas

Problemas con la cámara

Si la cámara no funciona, prueba con diferentes ID de cámara:

<function_calls> <invoke name="start_camera_detection"> <parameter name="camera_id">1</parameter> <!-- Try 0, 1, or 2 --> </invoke> </function_calls>

Modelo no encontrado

Si no se encuentra un modelo, asegúrese de haberlo descargado en uno de los directorios configurados:

<function_calls> <invoke name="get_model_directories"> </invoke> </function_calls>

Problemas de rendimiento

Para un mejor rendimiento con recursos limitados, utilice modelos más pequeños (por ejemplo, yolov8n.pt en lugar de yolov8x.pt)

-
security - not tested
A
license - permissive license
-
quality - not tested

Un servicio de visión artificial que permite a Claude realizar detección de objetos, segmentación, clasificación y análisis de cámaras en tiempo real utilizando modelos YOLO de última generación.

  1. Features
    1. Setup Instructions
      1. Prerequisites
      2. Environment Setup
      3. Downloading YOLO Models
      4. Configuring Claude
    2. Using YOLO Tools in Claude
      1. 1. First Check Available Models
      2. 2. Detecting Objects in an Image
      3. 3. Running Comprehensive Image Analysis
      4. 4. Image Segmentation
      5. 5. Image Classification
      6. 6. Using Your Computer's Camera
      7. 7. Advanced Model Operations
      8. 8. Testing Connection
    3. Troubleshooting
      1. Camera Issues
      2. Model Not Found
      3. Performance Issues
    ID: 9zak16sjss