Crawl4AI MCP Server

⚠️ AVISO

SERVIDOR MCP ACTUALMENTE EN DESARROLLO
NO LISTO PARA USO EN PRODUCCIÓN
SE ACTUALIZARÁ CUANDO ESTÉ EN FUNCIONAMIENTO

Servidor MCP de Crawl4AI

Servidor MCP de alto rendimiento para Crawl4AI: permite que los asistentes de IA accedan al web scraping, el rastreo y la investigación profunda mediante el Protocolo de Contexto de Modelo. ¡Más rápido y eficiente que FireCrawl!

Descripción general

Este proyecto implementa un servidor MCP (Protocolo de Contexto de Modelo) personalizado que se integra con Crawl4AI, una biblioteca de código abierto para el rastreo y el raspado web. El servidor se implementa como un servidor MCP remoto en CloudFlare Workers, lo que permite a asistentes de IA como Claude acceder a las potentes capacidades de raspado web de Crawl4AI.

Documentación

Para obtener detalles completos sobre este proyecto, consulte la siguiente documentación:

• Plan de migración : plan detallado para migrar de Firecrawl a Crawl4AI
• Arquitectura mejorada : arquitectura multiinquilino con flexibilidad del proveedor de nube
• Guía de implementación : detalles de implementación técnica y ejemplos de código
• Simplificación de la base de código : detalles sobre la simplificación del código y las mejores prácticas implementadas

Características

Adquisición de datos web

• 🌐 Extracción de páginas web individuales : extrae contenido de páginas web individuales
• 🕸️ Rastreo web : rastrea sitios web con profundidad y límites de página configurables
• 🗺️ Descubrimiento de URL : mapea y descubre URL desde un punto de partida
• 🕸️ Rastreo asincrónico : rastree sitios web completos de manera eficiente

Procesamiento de contenido

• 🔍 Investigación profunda : realice una investigación exhaustiva en varias páginas
• 📊 Extracción de datos estructurados : extraiga datos específicos utilizando selectores CSS o extracción basada en LLM
• 🔎 Búsqueda de contenido : busca en contenido rastreado previamente

Integración y seguridad

• 🔄 Integración con MCP : Integración perfecta con clientes MCP (Claude Desktop, etc.)
• Autenticación OAuth : acceso seguro con la autorización adecuada
• 🔒 Opciones de autenticación : Acceso seguro a través de OAuth o clave API (token portador)
• ⚡ Alto rendimiento : optimizado para velocidad y eficiencia

Estructura del proyecto

Empezando

Prerrequisitos

• Node.js (v18 o superior)
• npm
• Wrangler (CLI de trabajadores de CloudFlare)
• Una cuenta de CloudFlare

Instalación

1. Clonar el repositorio:
   git clone https://github.com/BjornMelin/crawl4ai-mcp-server.git cd crawl4ai-mcp-server
2. Instalar dependencias:
   npm install
3. Configurar el espacio de nombres KV de CloudFlare:
   wrangler kv:namespace create CRAWL_DATA
4. Actualice wrangler.toml con el ID del espacio de nombres KV:
   kv_namespaces = [ { binding = "CRAWL_DATA", id = "your-namespace-id" } ]

Desarrollo

Desarrollo local

1. Inicie el servidor de desarrollo:
   npm run dev
2. El servidor estará disponible en http://localhost:8787

Despliegue

1. Implementar en trabajadores de CloudFlare:
   npm run deploy
2. Su servidor estará disponible en la URL de CloudFlare Workers asignada a su trabajador implementado.

Uso con clientes MCP

Este servidor implementa el Protocolo de Contexto de Modelo, lo que permite a los asistentes de IA acceder a sus herramientas.

Autenticación

• Implementar la autenticación OAuth con workers-oauth-provider
• Agregar autenticación de clave API mediante tokens de portador
• Crear página de inicio de sesión y gestión de tokens

Conexión a un cliente MCP

1. Utilice la URL de CloudFlare Workers asignada a su trabajador implementado
2. En Claude Desktop u otros clientes MCP, agregue este servidor como fuente de herramientas

Herramientas disponibles

• crawl : Rastrear páginas web desde una URL de inicio
• getCrawl : recupera datos de rastreo por ID
• listCrawls : enumera todos los rastreos o filtra por dominio
• search : Buscar documentos indexados por consulta
• extract : Extraer contenido estructurado de una URL

Configuración

El servidor se puede configurar modificando las variables de entorno en wrangler.toml :

• MAX_CRAWL_DEPTH : Profundidad máxima para el rastreo web (predeterminado: 3)
• MAX_CRAWL_PAGES : Máximo de páginas a rastrear (predeterminado: 100)
• API_VERSION : cadena de versión de la API (predeterminada: "v1")
• OAUTH_CLIENT_ID : ID de cliente OAuth para autenticación
• OAUTH_CLIENT_SECRET : Secreto de cliente OAuth para autenticación

Hoja de ruta

El proyecto se está desarrollando con estos componentes en mente:

1. Configuración y configuración del proyecto : configuración de CloudFlare Worker, configuración de TypeScript
2. Esquemas de herramientas y servidor MCP : implementación del servidor MCP con definiciones de herramientas
3. Adaptador Crawl4AI : Integración con la funcionalidad Crawl4AI
4. Autenticación OAuth : Implementación de autenticación segura
5. Optimizaciones de rendimiento : mejora de la velocidad y la confiabilidad
6. Funciones de extracción avanzadas : mejora de las capacidades de extracción de datos estructurados

Contribuyendo

¡Agradecemos sus contribuciones! Por favor, revise los problemas abiertos o cree uno nuevo antes de empezar a trabajar en una función o corrección de errores. Consulte las directrices de contribución para obtener información detallada.

Apoyo

Si encuentra problemas o tiene preguntas:

• Abrir un problema en el repositorio de GitHub
• Consulte la documentación de Crawl4AI
• Consulte la especificación del Protocolo de Contexto de Modelo

Cómo citar

Si utiliza Crawl4AI MCP Server en sus investigaciones o proyectos, cítelo utilizando la siguiente entrada BibTeX:

Licencia

Instituto Tecnológico de Massachusetts (MIT)