Servicio MCP de YOLO
Un potente servicio de visión artificial YOLO (You Only Look Once) que se integra con Claude AI mediante el Protocolo de Contexto de Modelo (MCP). Este servicio permite a Claude realizar detección de objetos, segmentación, clasificación y análisis de cámaras en tiempo real utilizando modelos YOLO de vanguardia.
Características
- Detección de objetos, segmentación, clasificación y estimación de pose
- Integración de cámara en tiempo real para la detección de objetos en vivo
- Soporte para entrenamiento, validación y exportación de modelos
- Análisis integral de imágenes que combina múltiples modelos
- Compatibilidad con rutas de archivos e imágenes codificadas en base64
- Integración perfecta con Claude AI
Instrucciones de configuración
Prerrequisitos
- Python 3.10 o superior
- Git (opcional, para clonar el repositorio)
Configuración del entorno
- Crea un directorio para el proyecto y navega hasta él:
mkdir yolo-mcp-service
cd yolo-mcp-service
- Descargue los archivos del proyecto o clónelos desde el repositorio:
# If you have the files, copy them to this directory
# If using git:
git clone https://github.com/GongRzhe/YOLO-MCP-Server.git .
- Crear un entorno virtual:
# On Windows
python -m venv .venv
# On macOS/Linux
python3 -m venv .venv
- Activar el entorno virtual:
# On Windows
.venv\Scripts\activate
# On macOS/Linux
source .venv/bin/activate
- Ejecute el script de configuración:El script de configuración hará lo siguiente:
- Comprueba tu versión de Python
- Crear un entorno virtual (si aún no está creado)
- Instalar las dependencias necesarias
- Generar un archivo de configuración MCP (mcp-config.json)
- Información de configuración de salida para diferentes clientes MCP, incluido Claude
- Tenga en cuenta el resultado del script de configuración, que será similar a esto:
MCP configuration has been written to: /path/to/mcp-config.json
MCP configuration for Cursor:
/path/to/.venv/bin/python /path/to/server.py
MCP configuration for Windsurf/Claude Desktop:
{
"mcpServers": {
"yolo-service": {
"command": "/path/to/.venv/bin/python",
"args": [
"/path/to/server.py"
],
"env": {
"PYTHONPATH": "/path/to"
}
}
}
}
To use with Claude Desktop, merge this configuration into: /path/to/claude_desktop_config.json
Descarga de modelos YOLO
Antes de usar el servicio, debe descargar los modelos de YOLO. El servicio busca modelos en los siguientes directorios:
- El directorio actual donde se ejecuta el servicio
- Un subdirectorio
models - Cualquier otro directorio configurado en la variable
CONFIG["model_dirs"] en server.py
Crea un directorio de modelos y descarga algunos modelos comunes:
# Create models directory
mkdir models
# Download YOLOv8n for basic object detection
curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt -o models/yolov8n.pt
# Download YOLOv8n-seg for segmentation
curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-seg.pt -o models/yolov8n-seg.pt
# Download YOLOv8n-cls for classification
curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-cls.pt -o models/yolov8n-cls.pt
# Download YOLOv8n-pose for pose estimation
curl -L https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-pose.pt -o models/yolov8n-pose.pt
Para usuarios de Windows PowerShell:
# Create models directory
mkdir models
# Download models using Invoke-WebRequest
Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n.pt" -OutFile "models/yolov8n.pt"
Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-seg.pt" -OutFile "models/yolov8n-seg.pt"
Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-cls.pt" -OutFile "models/yolov8n-cls.pt"
Invoke-WebRequest -Uri "https://github.com/ultralytics/assets/releases/download/v0.0.0/yolov8n-pose.pt" -OutFile "models/yolov8n-pose.pt"
Configurando Claude
Para utilizar este servicio con Claude:
- Para Claude web: configure el servicio en su máquina local y use la configuración proporcionada por el script de configuración en su cliente MCP.
- Para Claude Desktop:
- Ejecute el script de configuración y observe el resultado de la configuración
- Localice el archivo de configuración de Claude Desktop (la ruta se proporciona en la salida del script de configuración)
- Agregue o fusione la configuración en su archivo de configuración de Claude Desktop
- Reiniciar Claude Desktop
Uso de las herramientas YOLO en Claude
1. Primero verifique los modelos disponibles
Compruebe siempre primero qué modelos están disponibles en su sistema:
I'd like to use the YOLO tools. Can you first check which models are available on my system?
<function_calls>
<invoke name="list_available_models">
</invoke>
</function_calls>
2. Detección de objetos en una imagen
Para analizar un archivo de imagen en su computadora:
Can you analyze this image file for objects?
<function_calls>
<invoke name="analyze_image_from_path">
<parameter name="image_path">/path/to/your/image.jpg</parameter>
<parameter name="confidence">0.3</parameter>
</invoke>
</function_calls>
También puede especificar un modelo diferente:
Can you analyze this image using a different model?
<function_calls>
<invoke name="analyze_image_from_path">
<parameter name="image_path">/path/to/your/image.jpg</parameter>
<parameter name="model_name">yolov8n.pt</parameter>
<parameter name="confidence">0.4</parameter>
</invoke>
</function_calls>
3. Ejecución de un análisis de imágenes completo
Para un análisis más detallado que combine detección de objetos, clasificación y más:
Can you perform a comprehensive analysis on this image?
<function_calls>
<invoke name="comprehensive_image_analysis">
<parameter name="image_path">/path/to/your/image.jpg</parameter>
<parameter name="confidence">0.3</parameter>
</invoke>
</function_calls>
4. Segmentación de imágenes
Para identificar los límites de los objetos y crear máscaras de segmentación:
Can you perform image segmentation on this photo?
<function_calls>
<invoke name="segment_objects">
<parameter name="image_data">/path/to/your/image.jpg</parameter>
<parameter name="is_path">true</parameter>
<parameter name="model_name">yolov8n-seg.pt</parameter>
</invoke>
</function_calls>
5. Clasificación de imágenes
Para clasificar todo el contenido de la imagen:
What does this image show? Can you classify it?
<function_calls>
<invoke name="classify_image">
<parameter name="image_data">/path/to/your/image.jpg</parameter>
<parameter name="is_path">true</parameter>
<parameter name="model_name">yolov8n-cls.pt</parameter>
<parameter name="top_k">5</parameter>
</invoke>
</function_calls>
6. Uso de la cámara de su computadora
Inicie la detección de objetos en tiempo real utilizando la cámara de su computadora:
Can you turn on my camera and detect objects in real-time?
<function_calls>
<invoke name="start_camera_detection">
<parameter name="model_name">yolov8n.pt</parameter>
<parameter name="confidence">0.3</parameter>
</invoke>
</function_calls>
Obtenga las últimas detecciones de cámara:
What are you seeing through my camera right now?
<function_calls>
<invoke name="get_camera_detections">
</invoke>
</function_calls>
Detenga la cámara cuando termine:
Please turn off the camera.
<function_calls>
<invoke name="stop_camera_detection">
</invoke>
</function_calls>
7. Operaciones avanzadas del modelo
Entrenamiento de un modelo personalizado
I want to train a custom object detection model on my dataset.
<function_calls>
<invoke name="train_model">
<parameter name="dataset_path">/path/to/your/dataset</parameter>
<parameter name="model_name">yolov8n.pt</parameter>
<parameter name="epochs">50</parameter>
</invoke>
</function_calls>
Validando un modelo
Can you validate the performance of my model on a test dataset?
<function_calls>
<invoke name="validate_model">
<parameter name="model_path">/path/to/your/trained/model.pt</parameter>
<parameter name="data_path">/path/to/validation/dataset</parameter>
</invoke>
</function_calls>
I need to export my YOLO model to ONNX format.
<function_calls>
<invoke name="export_model">
<parameter name="model_path">/path/to/your/model.pt</parameter>
<parameter name="format">onnx</parameter>
</invoke>
</function_calls>
8. Prueba de conexión
Compruebe si el servicio YOLO se está ejecutando correctamente:
Is the YOLO service running correctly?
<function_calls>
<invoke name="test_connection">
</invoke>
</function_calls>
Solución de problemas
Problemas con la cámara
Si la cámara no funciona, prueba con diferentes ID de cámara:
<function_calls>
<invoke name="start_camera_detection">
<parameter name="camera_id">1</parameter> <!-- Try 0, 1, or 2 -->
</invoke>
</function_calls>
Modelo no encontrado
Si no se encuentra un modelo, asegúrese de haberlo descargado en uno de los directorios configurados:
<function_calls>
<invoke name="get_model_directories">
</invoke>
</function_calls>
Problemas de rendimiento
Para un mejor rendimiento con recursos limitados, utilice modelos más pequeños (por ejemplo, yolov8n.pt en lugar de yolov8x.pt)