Crawlab MCP Server

Servidor MCP de Crawlab

Este es un servidor de Protocolo de Contexto de Modelo (MCP) para Crawlab, que permite que las aplicaciones de IA interactúen con la funcionalidad de Crawlab.

Descripción general

El servidor MCP proporciona una forma estandarizada para que las aplicaciones de IA accedan a las funciones de Crawlab, que incluyen:

• Gestión de arañas (crear, leer, actualizar, eliminar)
• Gestión de tareas (ejecutar, cancelar, reiniciar)
• Gestión de archivos (lectura, escritura)
• Acceso a recursos (arañas, tareas)

Arquitectura

La arquitectura servidor/cliente de MCP facilita la comunicación entre las aplicaciones de IA y Crawlab:

Flujo de comunicación

1. Consulta de usuario : el usuario envía una consulta en lenguaje natural al cliente MCP
2. Procesamiento LLM : el cliente reenvía la consulta a un proveedor LLM (por ejemplo, Claude, OpenAI)
3. Selección de herramientas : el LLM identifica las herramientas necesarias y genera llamadas de herramientas
4. Ejecución de herramientas : el cliente envía llamadas de herramientas al servidor MCP
5. Interacción API : El servidor ejecuta las solicitudes API de Crawlab correspondientes
6. Generación de respuesta : los resultados fluyen de regreso a través del servidor al cliente y al LLM.
7. Respuesta del usuario : el cliente entrega la respuesta final legible por humanos al usuario.

Instalación y uso

Opción 1: Instalar como un paquete de Python

Puede instalar el servidor MCP como un paquete Python, que proporciona una CLI conveniente:

Después de la instalación, puede utilizar la CLI:

Opción 2: Ejecución local

Prerrequisitos

• Python 3.8+
• Instancia de Crawlab ejecutándose y accesible
• Token API de Crawlab

Configuración

1. Copie el archivo .env.example a .env :
   cp .env.example .env
2. Edite el archivo .env con los detalles de su API de Crawlab:
   CRAWLAB_API_BASE_URL=http://your-crawlab-instance:8080/api CRAWLAB_API_TOKEN=your_api_token_here

Ejecutando localmente

1. Instalar dependencias:
   pip install -r requirements.txt
2. Ejecutar el servidor:
   python server.py

Ejecutando con Docker

1. Construya la imagen de Docker:
   docker build -t crawlab-mcp-server .
2. Ejecute el contenedor:
   docker run -p 8000:8000 --env-file .env crawlab-mcp-server

Integración con Docker Compose

Para agregar el servidor MCP a su configuración existente de Docker Compose de Crawlab, agregue el siguiente servicio a su docker-compose.yml :

Uso con aplicaciones de IA

El servidor MCP permite que las aplicaciones de IA interactúen con Crawlab mediante lenguaje natural. Siguiendo el diagrama de arquitectura anterior, se explica cómo usar el sistema MCP:

Configuración de la conexión

1. Inicie el servidor MCP : asegúrese de que su servidor MCP esté en ejecución y sea accesible
2. Configurar el cliente de IA : Conecte su aplicación de IA al servidor MCP

Ejemplo: Uso con Claude Desktop

1. Abra Claude Desktop
2. Vaya a Configuración > Servidores MCP
3. Agregue un nuevo servidor con la URL de su servidor MCP (por ejemplo, http://localhost:8000 )
4. En una conversación con Claude, ahora puedes usar la funcionalidad de Crawlab describiendo lo que quieres hacer en lenguaje natural.

Ejemplos de interacciones

Basándonos en nuestra arquitectura, aquí se muestran ejemplos de interacciones con el sistema:

Crea una araña:

Ejecutar una tarea:

Comandos disponibles

Puede interactuar con el sistema utilizando comandos de lenguaje natural como:

• "Enumera todas mis arañas"
• "Crea una nueva araña con estas especificaciones..."
• "Muéstrame el código de la araña llamada X"
• "Actualice el archivo main.py en spider X con este código..."
• "Ejecuta Spider X y avísame cuando esté completo"
• "Muéstrame los resultados de la última ejecución de Spider X"

Recursos y herramientas disponibles

Estas son las herramientas subyacentes que potencian las interacciones del lenguaje natural:

Recursos

• spiders : Lista de todas las arañas
• tasks : enumerar todas las tareas

Herramientas

Gestión de arañas

• get_spider : Obtener detalles de una araña específica
• create_spider : Crea una nueva araña
• update_spider : Actualizar una araña existente
• delete_spider : Eliminar una araña

Gestión de tareas

• get_task : Obtener detalles de una tarea específica
• run_spider : Ejecutar una araña
• cancel_task : Cancelar una tarea en ejecución
• restart_task : Reiniciar una tarea
• get_task_logs : Obtener registros de una tarea

Gestión de archivos

• get_spider_files : Lista los archivos de una araña
• get_spider_file : Obtener el contenido de un archivo específico
• save_spider_file : Guardar contenido en un archivo