[{"_1":2,"_366":-5,"_367":-5},"loaderData",{"_3":4,"_22":23,"_24":25,"_300":301},"root",{"_5":6,"_7":8},"toasts",[],"visitor",{"_9":10,"_11":12},"viewportWidth",1280,"visitorSession",{"_13":14,"_16":17,"_18":-5,"_19":20,"_21":-5},"attributes",[15],"BOT","id",7058884,"membership","referenceId","01971406-43e3-74e8-b880-2f000258007a","userAccount","routes/_public/_layout",{},"routes/_public/mcp/servers/~namespace/~slug/_pages/_layout",{"_26":27,"_81":-5,"_82":40,"_29":83,"_217":218,"_299":156},"availableLocales",[28,40,46,53,60,67,74],{"_29":30,"_33":37,"_38":39},"mcpServer",{"_31":32,"_33":34,"_35":36},"description","Web-Crawling und RAG-Implementierung, die es KI-Agenten ermöglicht, Websites zu durchsuchen und eine semantische Suche über die gecrawlten Inhalte durchzuführen. Dabei wird alles in Supabase gespeichert, um dauerhaft Wissen abzurufen.","name","Crawl4AI RAG MCP Server","readme","Eine leistungsstarke Implementierung des [Model Context Protocol (MCP),](https://modelcontextprotocol.io) integriert mit [Crawl4AI](https://crawl4ai.com) und [Supabase,](https://supabase.com/) um KI-Agenten und KI-Codierungsassistenten mit erweiterten Web-Crawling- und RAG-Funktionen auszustatten.\n\nMit diesem MCP-Server können Sie alles scrapen und dieses Wissen dann überall für RAG verwenden.\n\nDas Hauptziel ist die Integration dieses MCP-Servers in [Archon](https://github.com/coleam00/Archon) , während ich ihn zu einer Wissensmaschine für KI-Codierungsassistenten zur Erstellung von KI-Agenten weiterentwickle. Diese erste Version des Crawl4AI/RAG MCP-Servers wird in Kürze erheblich verbessert, insbesondere durch die Verbesserung seiner Konfigurierbarkeit, sodass Sie verschiedene Einbettungsmodelle verwenden und alles lokal mit Ollama ausführen können.\n\n## Überblick\n\nDieser MCP-Server bietet Tools, mit denen KI-Agenten Websites crawlen, Inhalte in einer Vektordatenbank (Supabase) speichern und RAG-Analysen über die gecrawlten Inhalte durchführen können. Er folgt den Best Practices zum Erstellen von MCP-Servern basierend auf der [Mem0-MCP-Servervorlage, die](https://github.com/coleam00/mcp-mem0/) ich zuvor auf meinem Kanal bereitgestellt habe.\n\n## Vision\n\nDer Crawl4AI RAG MCP-Server ist erst der Anfang. Hier ist unser Ziel:\n\n1. **Integration mit Archon** : Durch direkte Integration dieses Systems in [Archon](https://github.com/coleam00/Archon) wird eine umfassende Wissens-Engine für KI-Codierungsassistenten erstellt, mit der sich bessere KI-Agenten erstellen lassen.\n\n2. **Mehrere Einbettungsmodelle** : Erweiterung über OpenAI hinaus, um eine Vielzahl von Einbettungsmodellen zu unterstützen, einschließlich der Möglichkeit, alles lokal mit Ollama auszuführen, um vollständige Kontrolle und Datenschutz zu gewährleisten.\n\n3. **Erweiterte RAG-Strategien** : Implementierung anspruchsvoller Abruftechniken wie kontextbezogener Abfrage, Late Chunking und anderer, um über einfache „naive Nachschlagevorgänge“ hinauszugehen und die Leistungsfähigkeit und Präzision des RAG-Systems deutlich zu verbessern, insbesondere durch die Integration mit Archon.\n\n4. **Verbesserte Chunking-Strategie** : Implementierung eines von Context 7 inspirierten Chunking-Ansatzes, der sich auf Beispiele konzentriert und für jeden Chunk eindeutige, semantisch sinnvolle Abschnitte erstellt, wodurch die Abrufgenauigkeit verbessert wird.\n\n5. **Leistungsoptimierung** : Erhöhung der Crawling- und Indizierungsgeschwindigkeit, um das „schnelle“ Indizieren neuer Dokumentationen realistischer zu machen und sie dann innerhalb derselben Eingabeaufforderung in einem KI-Codierungsassistenten zu nutzen.\n\n## Merkmale\n\n* **Intelligente URL-Erkennung** : Erkennt und verarbeitet automatisch verschiedene URL-Typen (normale Webseiten, Sitemaps, Textdateien)\n* **Rekursives Crawlen** : Folgt internen Links, um Inhalte zu entdecken\n* **Parallele Verarbeitung** : Effizientes gleichzeitiges Crawlen mehrerer Seiten\n* **Inhalts-Chunking** : Intelligente Aufteilung des Inhalts nach Überschriften und Größe für eine bessere Verarbeitung\n* **Vektorsuche** : Führt RAG über gecrawlte Inhalte aus und filtert optional nach Datenquelle für mehr Präzision\n* **Quellenabruf** : Abrufen von Quellen, die zum Filtern verfügbar sind, um den RAG-Prozess zu steuern\n\n## Werkzeuge\n\nDer Server bietet vier wichtige Web-Crawling- und Suchtools:\n\n1. **`crawl_single_page`** : Crawlt schnell eine einzelne Webseite und speichert ihren Inhalt in der Vektordatenbank\n2. **`smart_crawl_url`** : Intelligentes Crawlen einer vollständigen Website basierend auf dem Typ der bereitgestellten URL (Sitemap, llms-full.txt oder eine normale Webseite, die rekursiv gecrawlt werden muss).\n3. **`get_available_sources`** : Ruft eine Liste aller verfügbaren Quellen (Domänen) in der Datenbank ab\n4. **`perform_rag_query`** : Suche nach relevanten Inhalten mithilfe der semantischen Suche mit optionaler Quellenfilterung\n\n## Voraussetzungen\n\n* [Docker/Docker Desktop](https://www.docker.com/products/docker-desktop/) , wenn der MCP-Server als Container ausgeführt wird (empfohlen)\n* [Python 3.12+,](https://www.python.org/downloads/) wenn der MCP-Server direkt über UV ausgeführt wird\n* [Supabase](https://supabase.com/) (Datenbank für RAG)\n* [OpenAI-API-Schlüssel](https://platform.openai.com/api-keys) (zum Generieren von Einbettungen)\n\n## Installation\n\n### Docker verwenden (empfohlen)\n\n1. Klonen Sie dieses Repository:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Erstellen Sie das Docker-Image:\n\n ```bash\n docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .\n ```\n\n3. Erstellen Sie eine `.env` Datei basierend auf dem folgenden Konfigurationsabschnitt\n\n### UV direkt verwenden (kein Docker)\n\n1. Klonen Sie dieses Repository:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Installieren Sie uv, falls Sie es nicht haben:\n\n ```bash\n pip install uv\n ```\n\n3. Erstellen und aktivieren Sie eine virtuelle Umgebung:\n\n ```bash\n uv venv\n .venv\\Scripts\\activate\n # on Mac/Linux: source .venv/bin/activate\n ```\n\n4. Installieren Sie Abhängigkeiten:\n\n ```bash\n uv pip install -e .\n crawl4ai-setup\n ```\n\n5. Erstellen Sie eine `.env` Datei basierend auf dem folgenden Konfigurationsabschnitt\n\n## Datenbank-Setup\n\nBevor Sie den Server ausführen, müssen Sie die Datenbank mit der Erweiterung pgvector einrichten:\n\n1. Gehen Sie zum SQL-Editor in Ihrem Supabase-Dashboard (erstellen Sie ggf. zuerst ein neues Projekt).\n\n2. Erstellen Sie eine neue Abfrage und fügen Sie den Inhalt von `crawled_pages.sql` ein\n\n3. Führen Sie die Abfrage aus, um die erforderlichen Tabellen und Funktionen zu erstellen\n\n## Konfiguration\n\nErstellen Sie im Projektstammverzeichnis eine `.env` Datei mit den folgenden Variablen:\n\n```\n# MCP Server Configuration\nHOST=0.0.0.0\nPORT=8051\nTRANSPORT=sse\n\n# OpenAI API Configuration\nOPENAI_API_KEY=your_openai_api_key\n\n# Supabase Configuration\nSUPABASE_URL=your_supabase_project_url\nSUPABASE_SERVICE_KEY=your_supabase_service_key\n```\n\n## Ausführen des Servers\n\n### Verwenden von Docker\n\n```bash\ndocker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag\n```\n\n### Verwenden von Python\n\n```bash\nuv run src/crawl4ai_mcp.py\n```\n\nDer Server wird gestartet und lauscht auf dem konfigurierten Host und Port.\n\n## Integration mit MCP-Clients\n\n### SSE-Konfiguration\n\nSobald der Server mit SSE-Transport läuft, können Sie mit dieser Konfiguration eine Verbindung zu ihm herstellen:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"transport\": \"sse\",\n \"url\": \"http://localhost:8051/sse\"\n }\n }\n}\n```\n\n> **Hinweis für Windsurf-Benutzer** : Verwenden Sie in Ihrer Konfiguration `serverUrl` “ anstelle von `url` :\n>\n> ```json\n> {\n> \"mcpServers\": {\n> \"crawl4ai-rag\": {\n> \"transport\": \"sse\",\n> \"serverUrl\": \"http://localhost:8051/sse\"\n> }\n> }\n> }\n> ```\n>\n> **Hinweis für Docker-Nutzer** : Verwenden Sie `host.docker.internal` anstelle von `localhost` , wenn Ihr Client in einem anderen Container läuft. Dies gilt, wenn Sie diesen MCP-Server innerhalb von n8n verwenden!\n\n### Stdio-Konfiguration\n\nFügen Sie diesen Server zu Ihrer MCP-Konfiguration für Claude Desktop, Windsurf oder einen anderen MCP-Client hinzu:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"python\",\n \"args\": [\"path/to/crawl4ai-mcp/src/crawl4ai_mcp.py\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n### Docker mit Stdio-Konfiguration\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"docker\",\n \"args\": [\"run\", \"--rm\", \"-i\", \n \"-e\", \"TRANSPORT\", \n \"-e\", \"OPENAI_API_KEY\", \n \"-e\", \"SUPABASE_URL\", \n \"-e\", \"SUPABASE_SERVICE_KEY\", \n \"mcp/crawl4ai\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n## Erstellen Sie Ihren eigenen Server\n\nDiese Implementierung bietet die Grundlage für den Aufbau komplexerer MCP-Server mit Web-Crawling-Funktionen. So erstellen Sie Ihren eigenen Server:\n\n1. Fügen Sie Ihre eigenen Tools hinzu, indem Sie Methoden mit dem Dekorator `@mcp.tool()` erstellen\n2. Erstellen Sie Ihre eigene Lebensdauerfunktion, um Ihre eigenen Abhängigkeiten hinzuzufügen\n3. Ändern Sie die Datei `utils.py` für alle benötigten Hilfsfunktionen\n4. Erweitern Sie die Crawling-Funktionen durch Hinzufügen spezialisierterer Crawler","German","tag","de-DE",{"_29":41,"_33":44,"_38":45},{"_31":42,"_33":34,"_35":43},"Web crawling and RAG implementation that enables AI agents to scrape websites and perform semantic search over the crawled content, storing everything in Supabase for persistent knowledge retrieval.","

Crawl4AI RAG MCP Server

\n\n

\n Web Crawling and RAG Capabilities for AI Agents and AI Coding Assistants\n

\n\nA powerful implementation of the [Model Context Protocol (MCP)](https://modelcontextprotocol.io) integrated with [Crawl4AI](https://crawl4ai.com) and [Supabase](https://supabase.com/) for providing AI agents and AI coding assistants with advanced web crawling and RAG capabilities.\n\nWith this MCP server, you can scrape anything and then use that knowledge anywhere for RAG.\n\nThe primary goal is to bring this MCP server into [Archon](https://github.com/coleam00/Archon) as I evolve it to be more of a knowledge engine for AI coding assistants to build AI agents. This first version of the Crawl4AI/RAG MCP server will be improved upon greatly soon, especially making it more configurable so you can use different embedding models and run everything locally with Ollama.\n\n## Overview\n\nThis MCP server provides tools that enable AI agents to crawl websites, store content in a vector database (Supabase), and perform RAG over the crawled content. It follows the best practices for building MCP servers based on the [Mem0 MCP server template](https://github.com/coleam00/mcp-mem0/) I provided on my channel previously.\n\n## Vision\n\nThe Crawl4AI RAG MCP server is just the beginning. Here's where we're headed:\n\n1. **Integration with Archon**: Building this system directly into [Archon](https://github.com/coleam00/Archon) to create a comprehensive knowledge engine for AI coding assistants to build better AI agents.\n\n2. **Multiple Embedding Models**: Expanding beyond OpenAI to support a variety of embedding models, including the ability to run everything locally with Ollama for complete control and privacy.\n\n3. **Advanced RAG Strategies**: Implementing sophisticated retrieval techniques like contextual retrieval, late chunking, and others to move beyond basic \"naive lookups\" and significantly enhance the power and precision of the RAG system, especially as it integrates with Archon.\n\n4. **Enhanced Chunking Strategy**: Implementing a Context 7-inspired chunking approach that focuses on examples and creates distinct, semantically meaningful sections for each chunk, improving retrieval precision.\n\n5. **Performance Optimization**: Increasing crawling and indexing speed to make it more realistic to \"quickly\" index new documentation to then leverage it within the same prompt in an AI coding assistant.\n\n## Features\n\n- **Smart URL Detection**: Automatically detects and handles different URL types (regular webpages, sitemaps, text files)\n- **Recursive Crawling**: Follows internal links to discover content\n- **Parallel Processing**: Efficiently crawls multiple pages simultaneously\n- **Content Chunking**: Intelligently splits content by headers and size for better processing\n- **Vector Search**: Performs RAG over crawled content, optionally filtering by data source for precision\n- **Source Retrieval**: Retrieve sources available for filtering to guide the RAG process\n\n## Tools\n\nThe server provides four essential web crawling and search tools:\n\n1. **`crawl_single_page`**: Quickly crawl a single web page and store its content in the vector database\n2. **`smart_crawl_url`**: Intelligently crawl a full website based on the type of URL provided (sitemap, llms-full.txt, or a regular webpage that needs to be crawled recursively)\n3. **`get_available_sources`**: Get a list of all available sources (domains) in the database\n4. **`perform_rag_query`**: Search for relevant content using semantic search with optional source filtering\n\n## Prerequisites\n\n- [Docker/Docker Desktop](https://www.docker.com/products/docker-desktop/) if running the MCP server as a container (recommended)\n- [Python 3.12+](https://www.python.org/downloads/) if running the MCP server directly through uv\n- [Supabase](https://supabase.com/) (database for RAG)\n- [OpenAI API key](https://platform.openai.com/api-keys) (for generating embeddings)\n\n## Installation\n\n### Using Docker (Recommended)\n\n1. Clone this repository:\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Build the Docker image:\n ```bash\n docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .\n ```\n\n3. Create a `.env` file based on the configuration section below\n\n### Using uv directly (no Docker)\n\n1. Clone this repository:\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Install uv if you don't have it:\n ```bash\n pip install uv\n ```\n\n3. Create and activate a virtual environment:\n ```bash\n uv venv\n .venv\\Scripts\\activate\n # on Mac/Linux: source .venv/bin/activate\n ```\n\n4. Install dependencies:\n ```bash\n uv pip install -e .\n crawl4ai-setup\n ```\n\n5. Create a `.env` file based on the configuration section below\n\n## Database Setup\n\nBefore running the server, you need to set up the database with the pgvector extension:\n\n1. Go to the SQL Editor in your Supabase dashboard (create a new project first if necessary)\n\n2. Create a new query and paste the contents of `crawled_pages.sql`\n\n3. Run the query to create the necessary tables and functions\n\n## Configuration\n\nCreate a `.env` file in the project root with the following variables:\n\n```\n# MCP Server Configuration\nHOST=0.0.0.0\nPORT=8051\nTRANSPORT=sse\n\n# OpenAI API Configuration\nOPENAI_API_KEY=your_openai_api_key\n\n# Supabase Configuration\nSUPABASE_URL=your_supabase_project_url\nSUPABASE_SERVICE_KEY=your_supabase_service_key\n```\n\n## Running the Server\n\n### Using Docker\n\n```bash\ndocker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag\n```\n\n### Using Python\n\n```bash\nuv run src/crawl4ai_mcp.py\n```\n\nThe server will start and listen on the configured host and port.\n\n## Integration with MCP Clients\n\n### SSE Configuration\n\nOnce you have the server running with SSE transport, you can connect to it using this configuration:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"transport\": \"sse\",\n \"url\": \"http://localhost:8051/sse\"\n }\n }\n}\n```\n\n> **Note for Windsurf users**: Use `serverUrl` instead of `url` in your configuration:\n> ```json\n> {\n> \"mcpServers\": {\n> \"crawl4ai-rag\": {\n> \"transport\": \"sse\",\n> \"serverUrl\": \"http://localhost:8051/sse\"\n> }\n> }\n> }\n> ```\n>\n> **Note for Docker users**: Use `host.docker.internal` instead of `localhost` if your client is running in a different container. This will apply if you are using this MCP server within n8n!\n\n### Stdio Configuration\n\nAdd this server to your MCP configuration for Claude Desktop, Windsurf, or any other MCP client:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"python\",\n \"args\": [\"path/to/crawl4ai-mcp/src/crawl4ai_mcp.py\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n### Docker with Stdio Configuration\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"docker\",\n \"args\": [\"run\", \"--rm\", \"-i\", \n \"-e\", \"TRANSPORT\", \n \"-e\", \"OPENAI_API_KEY\", \n \"-e\", \"SUPABASE_URL\", \n \"-e\", \"SUPABASE_SERVICE_KEY\", \n \"mcp/crawl4ai\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n## Building Your Own Server\n\nThis implementation provides a foundation for building more complex MCP servers with web crawling capabilities. To build your own:\n\n1. Add your own tools by creating methods with the `@mcp.tool()` decorator\n2. Create your own lifespan function to add your own dependencies\n3. Modify the `utils.py` file for any helper functions you need\n4. Extend the crawling capabilities by adding more specialized crawlers","English","en-US",{"_29":47,"_33":51,"_38":52},{"_31":48,"_33":49,"_35":50},"Implementación de rastreo web y RAG que permite a los agentes de IA rastrear sitios web y realizar búsquedas semánticas sobre el contenido rastreado, almacenando todo en Supabase para la recuperación de conocimiento persistente.","Servidor Crawl4AI RAG MCP","Una poderosa implementación del [Protocolo de Contexto de Modelo (MCP)](https://modelcontextprotocol.io) integrado con [Crawl4AI](https://crawl4ai.com) y [Supabase](https://supabase.com/) para proporcionar a los agentes de IA y asistentes de codificación de IA capacidades avanzadas de rastreo web y RAG.\n\nCon este servidor MCP, puedes extraer cualquier cosa y luego usar ese conocimiento en cualquier lugar para RAG.\n\nEl objetivo principal es integrar este servidor MCP en [Archon](https://github.com/coleam00/Archon) a medida que lo desarrollo para que sea un motor de conocimiento para que los asistentes de programación de IA creen agentes de IA. Esta primera versión del servidor MCP de Crawl4AI/RAG se mejorará considerablemente próximamente, especialmente para que sea más configurable y permita usar diferentes modelos de incrustación y ejecutar todo localmente con Ollama.\n\n## Descripción general\n\nEste servidor MCP proporciona herramientas que permiten a los agentes de IA rastrear sitios web, almacenar contenido en una base de datos vectorial (Supabase) y ejecutar RAG sobre el contenido rastreado. Sigue las mejores prácticas para crear servidores MCP, basándose en la [plantilla de servidor MCP Mem0](https://github.com/coleam00/mcp-mem0/) que compartí anteriormente en mi canal.\n\n## Visión\n\nEl servidor Crawl4AI RAG MCP es solo el comienzo. Aquí es donde nos dirigimos:\n\n1. **Integración con Archon** : incorporar este sistema directamente en [Archon](https://github.com/coleam00/Archon) para crear un motor de conocimiento integral para que los asistentes de codificación de IA creen mejores agentes de IA.\n\n2. **Múltiples modelos de integración** : expansión más allá de OpenAI para admitir una variedad de modelos de integración, incluida la capacidad de ejecutar todo localmente con Ollama para un control y privacidad completos.\n\n3. **Estrategias RAG avanzadas** : implementación de técnicas de recuperación sofisticadas como recuperación contextual, fragmentación tardía y otras para ir más allá de las \"búsquedas ingenuas\" básicas y mejorar significativamente la potencia y la precisión del sistema RAG, especialmente a medida que se integra con Archon.\n\n4. **Estrategia de fragmentación mejorada** : implementación de un enfoque de fragmentación inspirado en Context 7 que se centra en ejemplos y crea secciones distintas y semánticamente significativas para cada fragmento, lo que mejora la precisión de la recuperación.\n\n5. **Optimización del rendimiento** : aumentar la velocidad de rastreo e indexación para que sea más realista indexar \"rápidamente\" nueva documentación para luego aprovecharla dentro del mismo mensaje en un asistente de codificación de IA.\n\n## Características\n\n* **Detección inteligente de URL** : detecta y gestiona automáticamente distintos tipos de URL (páginas web normales, mapas de sitios, archivos de texto)\n* **Rastreo recursivo** : sigue enlaces internos para descubrir contenido\n* **Procesamiento paralelo** : rastrea eficientemente varias páginas simultáneamente\n* **Fragmentación de contenido** : divide de forma inteligente el contenido por encabezados y tamaño para un mejor procesamiento\n* **Búsqueda vectorial** : realiza RAG sobre el contenido rastreado y filtra opcionalmente por fuente de datos para mayor precisión\n* **Recuperación de fuentes** : recupera fuentes disponibles para filtrar y guiar el proceso RAG\n\n## Herramientas\n\nEl servidor proporciona cuatro herramientas esenciales de búsqueda y rastreo web:\n\n1. **`crawl_single_page`** : Rastrea rápidamente una sola página web y almacena su contenido en la base de datos vectorial\n2. **`smart_crawl_url`** : rastrea de forma inteligente un sitio web completo según el tipo de URL proporcionada (mapa del sitio, llms-full.txt o una página web normal que necesita rastrearse de forma recursiva)\n3. **`get_available_sources`** : obtiene una lista de todas las fuentes (dominios) disponibles en la base de datos\n4. **`perform_rag_query`** : busca contenido relevante mediante búsqueda semántica con filtrado de fuente opcional\n\n## Prerrequisitos\n\n* [Docker/Docker Desktop](https://www.docker.com/products/docker-desktop/) si se ejecuta el servidor MCP como contenedor (recomendado)\n* [Python 3.12+](https://www.python.org/downloads/) si se ejecuta el servidor MCP directamente a través de uv\n* [Supabase](https://supabase.com/) (base de datos para RAG)\n* [Clave API de OpenAI](https://platform.openai.com/api-keys) (para generar incrustaciones)\n\n## Instalación\n\n### Uso de Docker (recomendado)\n\n1. Clonar este repositorio:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Construya la imagen de Docker:\n\n ```bash\n docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .\n ```\n\n3. Cree un archivo `.env` basado en la sección de configuración a continuación\n\n### Usando uv directamente (sin Docker)\n\n1. Clonar este repositorio:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Instalar uv si no lo tienes:\n\n ```bash\n pip install uv\n ```\n\n3. Crear y activar un entorno virtual:\n\n ```bash\n uv venv\n .venv\\Scripts\\activate\n # on Mac/Linux: source .venv/bin/activate\n ```\n\n4. Instalar dependencias:\n\n ```bash\n uv pip install -e .\n crawl4ai-setup\n ```\n\n5. Cree un archivo `.env` basado en la sección de configuración a continuación\n\n## Configuración de la base de datos\n\nAntes de ejecutar el servidor, debe configurar la base de datos con la extensión pgvector:\n\n1. Vaya al Editor SQL en su panel de Supabase (primero cree un nuevo proyecto si es necesario)\n\n2. Cree una nueva consulta y pegue el contenido de `crawled_pages.sql`\n\n3. Ejecute la consulta para crear las tablas y funciones necesarias\n\n## Configuración\n\nCree un archivo `.env` en la raíz del proyecto con las siguientes variables:\n\n```\n# MCP Server Configuration\nHOST=0.0.0.0\nPORT=8051\nTRANSPORT=sse\n\n# OpenAI API Configuration\nOPENAI_API_KEY=your_openai_api_key\n\n# Supabase Configuration\nSUPABASE_URL=your_supabase_project_url\nSUPABASE_SERVICE_KEY=your_supabase_service_key\n```\n\n## Ejecución del servidor\n\n### Usando Docker\n\n```bash\ndocker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag\n```\n\n### Usando Python\n\n```bash\nuv run src/crawl4ai_mcp.py\n```\n\nEl servidor se iniciará y escuchará en el host y puerto configurados.\n\n## Integración con clientes MCP\n\n### Configuración de SSE\n\nUna vez que tenga el servidor funcionando con el transporte SSE, puede conectarse a él utilizando esta configuración:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"transport\": \"sse\",\n \"url\": \"http://localhost:8051/sse\"\n }\n }\n}\n```\n\n> **Nota para los usuarios de Windsurf** : utilice `serverUrl` en lugar de `url` en su configuración:\n>\n> ```json\n> {\n> \"mcpServers\": {\n> \"crawl4ai-rag\": {\n> \"transport\": \"sse\",\n> \"serverUrl\": \"http://localhost:8051/sse\"\n> }\n> }\n> }\n> ```\n>\n> **Nota para usuarios de Docker** : Usen `host.docker.internal` en lugar de `localhost` si su cliente se ejecuta en un contenedor diferente. Esto aplica si usan este servidor MCP dentro de n8n.\n\n### Configuración de Stdio\n\nAgregue este servidor a su configuración de MCP para Claude Desktop, Windsurf o cualquier otro cliente de MCP:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"python\",\n \"args\": [\"path/to/crawl4ai-mcp/src/crawl4ai_mcp.py\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n### Docker con configuración de Stdio\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"docker\",\n \"args\": [\"run\", \"--rm\", \"-i\", \n \"-e\", \"TRANSPORT\", \n \"-e\", \"OPENAI_API_KEY\", \n \"-e\", \"SUPABASE_URL\", \n \"-e\", \"SUPABASE_SERVICE_KEY\", \n \"mcp/crawl4ai\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n## Construyendo su propio servidor\n\nEsta implementación proporciona una base para construir servidores MCP más complejos con capacidades de rastreo web. Para construir el suyo propio:\n\n1. Agregue sus propias herramientas creando métodos con el decorador `@mcp.tool()`\n2. Crea tu propia función de vida útil para agregar tus propias dependencias\n3. Modifique el archivo `utils.py` para cualquier función auxiliar que necesite\n4. Amplíe las capacidades de rastreo agregando rastreadores más especializados","Spanish","es-ES",{"_29":54,"_33":58,"_38":59},{"_31":55,"_33":56,"_35":57},"Web クローリングと RAG 実装により、AI エージェントが Web サイトをスクレイピングし、クロールされたコンテンツに対してセマンティック検索を実行し、すべてを Supabase に保存して永続的な知識検索が可能になります。","Crawl4AI RAG MCP サーバー","[Crawl4AI](https://crawl4ai.com)および[Supabase](https://supabase.com/)と統合された[Model Context Protocol (MCP)](https://modelcontextprotocol.io)の強力な実装により、AI エージェントと AI コーディングアシスタントに高度な Web クロールと RAG 機能を提供します。\n\nこの MCP サーバーを使用すると、あらゆるものをスクレイピングし、その知識を RAG のどこでも使用できます。\n\n主な目標は、このMCPサーバーを[Archon](https://github.com/coleam00/Archon)に統合し、AIコーディングアシスタントがAIエージェントを構築するための知識エンジンとして進化させることです。Crawl4AI/RAG MCPサーバーの最初のバージョンは、近日中に大幅に改良される予定です。特に、より柔軟に設定できるようにすることで、異なる埋め込みモデルの使用や、Ollamaを使ったローカルでの実行が可能になります。\n\n## 概要\n\nこのMCPサーバーは、AIエージェントがウェブサイトをクロールし、コンテンツをベクターデータベース（Supabase）に保存し、クロールしたコンテンツに対してRAGを実行できるようにするツールを提供します。このサーバーは、私が以前チャンネルで提供した[Mem0 MCPサーバーテンプレート](https://github.com/coleam00/mcp-mem0/)に基づいて、MCPサーバー構築のベストプラクティスに従っています。\n\n## ビジョン\n\nCrawl4AI RAG MCPサーバーはまだ始まりに過ぎません。今後の展望は以下の通りです。\n\n1. **Archon との統合**: このシステムを直接[Archon](https://github.com/coleam00/Archon)に組み込むことで、AI コーディングアシスタントが優れた AI エージェントを構築するための包括的な知識エンジンが作成されます。\n\n2. **複数の埋め込みモデル**: OpenAI を超えて拡張し、完全な制御とプライバシーのために Ollama を使用してすべてをローカルで実行する機能を含む、さまざまな埋め込みモデルをサポートします。\n\n3. **高度な RAG 戦略**: コンテキスト検索、遅延チャンキングなどの高度な検索手法を実装して、基本的な「単純な検索」を超え、特に Archon と統合することで RAG システムのパワーと精度を大幅に強化します。\n\n4. **強化されたチャンク化戦略**: 例に重点を置き、各チャンクに明確で意味的に意味のあるセクションを作成する、Context 7 にヒントを得たチャンク化アプローチを実装して、検索精度を向上させます。\n\n5. **パフォーマンスの最適化**: クロールとインデックス作成の速度を向上し、新しいドキュメントを「すばやく」インデックスして、AI コーディングアシスタントの同じプロンプト内で活用することがより現実的になります。\n\n## 特徴\n\n* **スマート URL 検出**: さまざまな URL タイプ (通常の Web ページ、サイトマップ、テキストファイル) を自動的に検出して処理します。\n* **再帰クロール**: 内部リンクをたどってコンテンツを発見する\n* **並列処理**：複数のページを同時に効率的にクロールします\n* **コンテンツチャンク**: コンテンツをヘッダーとサイズでインテリジェントに分割し、処理効率を向上します。\n* **ベクトル検索**: クロールされたコンテンツに対して RAG を実行し、オプションでデータソースによるフィルタリングを行って精度を高めます。\n* **ソースの取得**: RAG プロセスをガイドするためにフィルタリングに使用できるソースを取得します。\n\n## ツール\n\nサーバーは、次の 4 つの重要な Web クロールおよび検索ツールを提供します。\n\n1. **`crawl_single_page`** : 単一のウェブページを素早くクロールし、そのコンテンツをベクターデータベースに保存します。\n2. **`smart_crawl_url`** : 提供された URL の種類 (サイトマップ、llms-full.txt、または再帰的にクロールする必要がある通常の Web ページ) に基づいて、Web サイト全体をインテリジェントにクロールします。\n3. **`get_available_sources`** : データベース内のすべての利用可能なソース（ドメイン）のリストを取得します。\n4. **`perform_rag_query`** : オプションのソースフィルタリングを使用したセマンティック検索を使用して関連コンテンツを検索します\n\n## 前提条件\n\n* MCP サーバーをコンテナとして実行する場合は[Docker/Docker Desktop](https://www.docker.com/products/docker-desktop/) (推奨)\n* MCP サーバーを uv 経由で直接実行する場合は[Python 3.12+](https://www.python.org/downloads/)\n* [Supabase](https://supabase.com/) （RAG用データベース）\n* [OpenAI API キー](https://platform.openai.com/api-keys)（埋め込みを生成するため）\n\n## インストール\n\n### Dockerの使用（推奨）\n\n1. このリポジトリをクローンします:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Docker イメージをビルドします。\n\n ```bash\n docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .\n ```\n\n3. 以下の構成セクションに基づいて`.env`ファイルを作成します。\n\n### uv を直接使用する（Docker なし）\n\n1. このリポジトリをクローンします:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. uv がインストールされていない場合はインストールします。\n\n ```bash\n pip install uv\n ```\n\n3. 仮想環境を作成してアクティブ化します。\n\n ```bash\n uv venv\n .venv\\Scripts\\activate\n # on Mac/Linux: source .venv/bin/activate\n ```\n\n4. 依存関係をインストールします:\n\n ```bash\n uv pip install -e .\n crawl4ai-setup\n ```\n\n5. 以下の構成セクションに基づいて`.env`ファイルを作成します。\n\n## データベースのセットアップ\n\nサーバーを実行する前に、pgvector 拡張機能を使用してデータベースを設定する必要があります。\n\n1. SupabaseダッシュボードのSQLエディタに移動します（必要に応じて最初に新しいプロジェクトを作成します）。\n\n2. 新しいクエリを作成し、 `crawled_pages.sql`の内容を貼り付けます。\n\n3. クエリを実行して必要なテーブルと関数を作成します\n\n## 構成\n\n次の変数を含む`.env`ファイルをプロジェクトルートに作成します。\n\n```\n# MCP Server Configuration\nHOST=0.0.0.0\nPORT=8051\nTRANSPORT=sse\n\n# OpenAI API Configuration\nOPENAI_API_KEY=your_openai_api_key\n\n# Supabase Configuration\nSUPABASE_URL=your_supabase_project_url\nSUPABASE_SERVICE_KEY=your_supabase_service_key\n```\n\n## サーバーの実行\n\n### Dockerの使用\n\n```bash\ndocker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag\n```\n\n### Pythonの使用\n\n```bash\nuv run src/crawl4ai_mcp.py\n```\n\nサーバーは起動し、構成されたホストとポートでリッスンします。\n\n## MCPクライアントとの統合\n\n### SSE構成\n\nSSE トランスポートを使用してサーバーを実行したら、次の構成を使用してサーバーに接続できます。\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"transport\": \"sse\",\n \"url\": \"http://localhost:8051/sse\"\n }\n }\n}\n```\n\n> **Windsurf ユーザーへの注意**: 設定では`url`の代わりに`serverUrl`を使用してください。\n>\n> ```json\n> {\n> \"mcpServers\": {\n> \"crawl4ai-rag\": {\n> \"transport\": \"sse\",\n> \"serverUrl\": \"http://localhost:8051/sse\"\n> }\n> }\n> }\n> ```\n>\n> **Dockerユーザーへの注意**：クライアントが別のコンテナで実行されている場合は、 `localhost`ではなく`host.docker.internal`使用してください。これは、n8n内でこのMCPサーバーを使用している場合に適用されます。\n\n### 標準入出力設定\n\nこのサーバーを、Claude Desktop、Windsurf、またはその他の MCP クライアントの MCP 構成に追加します。\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"python\",\n \"args\": [\"path/to/crawl4ai-mcp/src/crawl4ai_mcp.py\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n### Stdio 構成の Docker\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"docker\",\n \"args\": [\"run\", \"--rm\", \"-i\", \n \"-e\", \"TRANSPORT\", \n \"-e\", \"OPENAI_API_KEY\", \n \"-e\", \"SUPABASE_URL\", \n \"-e\", \"SUPABASE_SERVICE_KEY\", \n \"mcp/crawl4ai\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n## 独自のサーバーを構築する\n\nこの実装は、Webクロール機能を備えたより複雑なMCPサーバーを構築するための基盤を提供します。独自のサーバーを構築するには、以下の手順に従ってください。\n\n1. `@mcp.tool()`デコレータを使用してメソッドを作成し、独自のツールを追加します。\n2. 独自の依存関係を追加するための独自のライフスパン関数を作成する\n3. 必要なヘルパー関数については`utils.py`ファイルを変更します。\n4. より特殊なクローラーを追加してクロール機能を拡張します","Japanese","ja-JP",{"_29":61,"_33":65,"_38":66},{"_31":62,"_33":63,"_35":64},"AI 에이전트가 웹사이트를 스크래핑하고 크롤링된 콘텐츠에 대한 의미 검색을 수행하며 모든 것을 Supabase에 저장하여 지속적인 지식 검색을 수행할 수 있는 웹 크롤링 및 RAG 구현입니다.","Crawl4AI RAG MCP 서버","[Crawl4AI](https://crawl4ai.com) 및 [Supabase](https://supabase.com/) 와 통합된 [모델 컨텍스트 프로토콜(MCP)](https://modelcontextprotocol.io) 의 강력한 구현으로, AI 에이전트와 AI 코딩 어시스턴트에 고급 웹 크롤링 및 RAG 기능을 제공합니다.\n\n이 MCP 서버를 사용하면 무엇이든 스크래핑하고 그 지식을 RAG에 어디서나 활용할 수 있습니다.\n\n이 MCP 서버를 [Archon](https://github.com/coleam00/Archon) 에 통합하여 AI 코딩 어시스턴트가 AI 에이전트를 구축할 수 있도록 지식 엔진으로 발전시키는 것이 주요 목표입니다. Crawl4AI/RAG MCP 서버의 첫 번째 버전은 곧 크게 개선될 예정이며, 특히 다양한 임베딩 모델을 사용하고 Ollama를 통해 모든 것을 로컬에서 실행할 수 있도록 구성 가능성이 더욱 향상될 예정입니다.\n\n## 개요\n\n이 MCP 서버는 AI 에이전트가 웹사이트를 크롤링하고, 벡터 데이터베이스(Supabase)에 콘텐츠를 저장하고, 크롤링된 콘텐츠에 대해 RAG(Reactive Aggregation)를 수행할 수 있도록 하는 도구를 제공합니다. 이 서버는 제가 이전에 채널에서 제공했던 [Mem0 MCP 서버 템플릿을](https://github.com/coleam00/mcp-mem0/) 기반으로 MCP 서버를 구축하는 모범 사례를 따릅니다.\n\n## 비전\n\nCrawl4AI RAG MCP 서버는 시작일 뿐입니다. 앞으로의 방향은 다음과 같습니다.\n\n1. **Archon과의 통합** : 이 시스템을 [Archon](https://github.com/coleam00/Archon) 에 직접 구축하여 AI 코딩 어시스턴트가 더 나은 AI 에이전트를 구축할 수 있는 포괄적인 지식 엔진을 구축합니다.\n\n2. **다양한 임베딩 모델** : OpenAI를 넘어 다양한 임베딩 모델을 지원하며, Ollama를 통해 모든 것을 로컬로 실행하여 완벽한 제어와 개인 정보 보호 기능을 제공합니다.\n\n3. **고급 RAG 전략** : 문맥적 검색, 늦은 청킹 등과 같은 정교한 검색 기술을 구현하여 기본적인 \"단순 검색\"을 넘어 RAG 시스템의 성능과 정확도를 크게 향상시킵니다. 특히 Archon과 통합할 때 더욱 그렇습니다.\n\n4. **강화된 청킹 전략** : 예시에 초점을 맞추고 각 청크에 대해 명확하고 의미적으로 의미 있는 섹션을 만드는 Context 7에서 영감을 받은 청킹 접근 방식을 구현하여 검색 정확도를 높입니다.\n\n5. **성능 최적화** : 크롤링 및 인덱싱 속도를 높여 AI 코딩 어시스턴트에서 동일한 프롬프트 내에서 새로운 문서를 \"빠르게\" 인덱싱하고 활용하는 것을 더욱 현실적으로 만들었습니다.\n\n## 특징\n\n* **스마트 URL 감지** : 다양한 URL 유형(일반 웹 페이지, 사이트맵, 텍스트 파일)을 자동으로 감지하고 처리합니다.\n* **재귀적 크롤링** : 내부 링크를 따라 콘텐츠를 검색합니다.\n* **병렬 처리** : 여러 페이지를 동시에 효율적으로 크롤링합니다.\n* **콘텐츠 청킹** : 더 나은 처리를 위해 헤더와 크기에 따라 콘텐츠를 지능적으로 분할합니다.\n* **벡터 검색** : 크롤링된 콘텐츠에 대한 RAG를 수행하고, 정확도를 위해 데이터 소스별로 필터링을 선택적으로 수행합니다.\n* **소스 검색** : RAG 프로세스를 안내하기 위해 필터링에 사용할 수 있는 소스를 검색합니다.\n\n## 도구\n\n이 서버는 4가지 필수 웹 크롤링 및 검색 도구를 제공합니다.\n\n1. **`crawl_single_page`** : 단일 웹 페이지를 빠르게 크롤링하고 해당 콘텐츠를 벡터 데이터베이스에 저장합니다.\n2. **`smart_crawl_url`** : 제공된 URL 유형(사이트맵, llms-full.txt 또는 재귀적으로 크롤링해야 하는 일반 웹페이지)에 따라 전체 웹사이트를 지능적으로 크롤링합니다.\n3. **`get_available_sources`** : 데이터베이스에서 사용 가능한 모든 소스(도메인) 목록을 가져옵니다.\n4. **`perform_rag_query`** : 선택적 소스 필터링을 사용하여 의미 검색을 사용하여 관련 콘텐츠를 검색합니다.\n\n## 필수 조건\n\n* MCP 서버를 컨테이너로 실행하는 경우 [Docker/Docker Desktop](https://www.docker.com/products/docker-desktop/) (권장)\n* uv를 통해 MCP 서버를 직접 실행하는 경우 [Python 3.12 이상](https://www.python.org/downloads/)\n* [Supabase](https://supabase.com/) (RAG용 데이터베이스)\n* [OpenAI API 키](https://platform.openai.com/api-keys) (임베딩 생성용)\n\n## 설치\n\n### Docker 사용(권장)\n\n1. 이 저장소를 복제하세요:\n\n 지엑스피1\n\n2. Docker 이미지를 빌드합니다.\n\n ```bash\n docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .\n ```\n\n3. 아래 구성 섹션을 기반으로 `.env` 파일을 만듭니다.\n\n### uv를 직접 사용하기(Docker 없음)\n\n1. 이 저장소를 복제하세요:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. uv가 없다면 설치하세요:\n\n ```bash\n pip install uv\n ```\n\n3. 가상 환경을 만들고 활성화하세요.\n\n ```bash\n uv venv\n .venv\\Scripts\\activate\n # on Mac/Linux: source .venv/bin/activate\n ```\n\n4. 종속성 설치:\n\n ```bash\n uv pip install -e .\n crawl4ai-setup\n ```\n\n5. 아래 구성 섹션을 기반으로 `.env` 파일을 만듭니다.\n\n## 데이터베이스 설정\n\n서버를 실행하기 전에 pgvector 확장으로 데이터베이스를 설정해야 합니다.\n\n1. Supabase 대시보드에서 SQL 편집기로 이동합니다(필요한 경우 먼저 새 프로젝트를 만듭니다)\n\n2. 새 쿼리를 만들고 `crawled_pages.sql` 의 내용을 붙여넣습니다.\n\n3. 필요한 테이블과 함수를 생성하기 위해 쿼리를 실행하세요.\n\n## 구성\n\n프로젝트 루트에 다음 변수를 사용하여 `.env` 파일을 만듭니다.\n\n```\n# MCP Server Configuration\nHOST=0.0.0.0\nPORT=8051\nTRANSPORT=sse\n\n# OpenAI API Configuration\nOPENAI_API_KEY=your_openai_api_key\n\n# Supabase Configuration\nSUPABASE_URL=your_supabase_project_url\nSUPABASE_SERVICE_KEY=your_supabase_service_key\n```\n\n## 서버 실행\n\n### Docker 사용하기\n\n```bash\ndocker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag\n```\n\n### 파이썬 사용하기\n\n```bash\nuv run src/crawl4ai_mcp.py\n```\n\n서버가 시작되고 구성된 호스트와 포트에서 수신 대기합니다.\n\n## MCP 클라이언트와의 통합\n\n### SSE 구성\n\nSSE 전송으로 서버를 실행하면 다음 구성을 사용하여 서버에 연결할 수 있습니다.\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"transport\": \"sse\",\n \"url\": \"http://localhost:8051/sse\"\n }\n }\n}\n```\n\n> **Windsurf 사용자를 위한 참고 사항** : 구성에서 `url` 대신 `serverUrl` 사용하세요.\n>\n> ```json\n> {\n> \"mcpServers\": {\n> \"crawl4ai-rag\": {\n> \"transport\": \"sse\",\n> \"serverUrl\": \"http://localhost:8051/sse\"\n> }\n> }\n> }\n> ```\n>\n> **Docker 사용자 참고 사항** : 클라이언트가 다른 컨테이너에서 실행 중인 경우 `localhost` 대신 `host.docker.internal` 사용하세요. 이는 n8n 내에서 이 MCP 서버를 사용하는 경우에도 적용됩니다!\n\n### Stdio 구성\n\nClaude Desktop, Windsurf 또는 기타 MCP 클라이언트에 대한 MCP 구성에 이 서버를 추가하세요.\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"python\",\n \"args\": [\"path/to/crawl4ai-mcp/src/crawl4ai_mcp.py\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n### Stdio 구성을 사용한 Docker\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"docker\",\n \"args\": [\"run\", \"--rm\", \"-i\", \n \"-e\", \"TRANSPORT\", \n \"-e\", \"OPENAI_API_KEY\", \n \"-e\", \"SUPABASE_URL\", \n \"-e\", \"SUPABASE_SERVICE_KEY\", \n \"mcp/crawl4ai\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n## 나만의 서버 구축\n\n이 구현은 웹 크롤링 기능을 갖춘 더욱 복잡한 MCP 서버를 구축하기 위한 기반을 제공합니다. 직접 구축하려면 다음을 수행하세요.\n\n1. `@mcp.tool()` 데코레이터를 사용하여 메서드를 생성하여 고유한 도구를 추가하세요.\n2. 자신의 종속성을 추가하려면 수명 함수를 직접 만드세요.\n3. 필요한 도우미 함수에 대해 `utils.py` 파일을 수정하세요.\n4. 더욱 전문화된 크롤러를 추가하여 크롤링 기능을 확장합니다.","Korean","ko-KR",{"_29":68,"_33":72,"_38":73},{"_31":69,"_33":70,"_35":71},"Реализация веб-сканирования и RAG, позволяющая агентам ИИ сканировать веб-сайты и выполнять семантический поиск по просканированному контенту, сохраняя все данные в Supabase для постоянного извлечения знаний.","Сервер Crawl4AI RAG MCP","Мощная реализация [протокола контекста модели (MCP),](https://modelcontextprotocol.io) интегрированная с [Crawl4AI](https://crawl4ai.com) и [Supabase](https://supabase.com/) для предоставления агентам ИИ и помощникам по кодированию расширенными возможностями веб-сканирования и RAG.\n\nС помощью этого MCP-сервера вы можете извлечь данные из чего угодно, а затем использовать эти знания где угодно для RAG.\n\nОсновная цель — перенести этот сервер MCP в [Archon](https://github.com/coleam00/Archon) , поскольку я развиваю его, чтобы он стал скорее движком знаний для помощников по кодированию ИИ для создания агентов ИИ. Эта первая версия сервера Crawl4AI/RAG MCP будет значительно улучшена в ближайшее время, особенно в плане ее настройки, чтобы вы могли использовать различные модели встраивания и запускать все локально с помощью Ollama.\n\n## Обзор\n\nЭтот сервер MCP предоставляет инструменты, которые позволяют агентам ИИ сканировать веб-сайты, хранить контент в векторной базе данных (Supabase) и выполнять RAG над просканированным контентом. Он следует лучшим практикам создания серверов MCP на основе [шаблона сервера Mem0 MCP, который](https://github.com/coleam00/mcp-mem0/) я ранее предоставил на своем канале.\n\n## Зрение\n\nСервер Crawl4AI RAG MCP — это только начало. Вот куда мы направляемся:\n\n1. **Интеграция с Archon** : встраивание этой системы непосредственно в [Archon](https://github.com/coleam00/Archon) для создания комплексного механизма знаний для помощников по кодированию ИИ с целью создания более эффективных агентов ИИ.\n\n2. **Множественные модели встраивания** : выход за рамки OpenAI для поддержки различных моделей встраивания, включая возможность локального запуска всего с помощью Ollama для полного контроля и конфиденциальности.\n\n3. **Расширенные стратегии RAG** : внедрение сложных методов поиска, таких как контекстный поиск, позднее фрагментирование и другие, чтобы выйти за рамки базовых «наивных поисков» и значительно повысить мощность и точность системы RAG, особенно при ее интеграции с Archon.\n\n4. **Улучшенная стратегия фрагментации** : реализация подхода к фрагментации, вдохновленного Context 7, который фокусируется на примерах и создает отдельные, семантически значимые разделы для каждого фрагмента, повышая точность поиска.\n\n5. **Оптимизация производительности** : увеличение скорости сканирования и индексирования, что делает более реалистичной «быструю» индексацию новой документации, а затем ее использование в том же запросе в помощнике по кодированию на основе ИИ.\n\n## Функции\n\n* **Интеллектуальное определение URL-адресов** : автоматически обнаруживает и обрабатывает различные типы URL-адресов (обычные веб-страницы, карты сайтов, текстовые файлы)\n* **Рекурсивное сканирование** : прохождение внутренних ссылок для обнаружения контента.\n* **Параллельная обработка** : эффективно сканирует несколько страниц одновременно.\n* **Разделение контента на части** : интеллектуальное разделение контента по заголовкам и размеру для лучшей обработки.\n* **Векторный поиск** : выполняет RAG по просканированному контенту, опционально фильтруя по источнику данных для точности.\n* **Извлечение источника** : извлечение источников, доступных для фильтрации, для руководства процессом RAG.\n\n## Инструменты\n\nСервер предоставляет четыре основных инструмента веб-сканирования и поиска:\n\n1. **`crawl_single_page`** : быстрое сканирование одной веб-страницы и сохранение ее содержимого в векторной базе данных\n2. **`smart_crawl_url`** : интеллектуальное сканирование всего веб-сайта на основе предоставленного типа URL-адреса (карта сайта, llms-full.txt или обычная веб-страница, которую необходимо сканировать рекурсивно)\n3. **`get_available_sources`** : Получить список всех доступных источников (доменов) в базе данных\n4. **`perform_rag_query`** : Поиск релевантного контента с использованием семантического поиска с дополнительной фильтрацией источника\n\n## Предпосылки\n\n* [Docker/Docker Desktop](https://www.docker.com/products/docker-desktop/) , если сервер MCP запущен как контейнер (рекомендуется)\n* [Python 3.12+,](https://www.python.org/downloads/) если сервер MCP запущен напрямую через uv\n* [Supabase](https://supabase.com/) (база данных для RAG)\n* [Ключ API OpenAI](https://platform.openai.com/api-keys) (для генерации вложений)\n\n## Установка\n\n### Использование Docker (рекомендуется)\n\n1. Клонируйте этот репозиторий:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Создайте образ Docker:\n\n ```bash\n docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .\n ```\n\n3. Создайте файл `.env` на основе раздела конфигурации ниже.\n\n### Использование uv напрямую (без Docker)\n\n1. Клонируйте этот репозиторий:\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. Установите uv, если у вас его нет:\n\n ```bash\n pip install uv\n ```\n\n3. Создайте и активируйте виртуальную среду:\n\n ```bash\n uv venv\n .venv\\Scripts\\activate\n # on Mac/Linux: source .venv/bin/activate\n ```\n\n4. Установить зависимости:\n\n ```bash\n uv pip install -e .\n crawl4ai-setup\n ```\n\n5. Создайте файл `.env` на основе раздела конфигурации ниже.\n\n## Настройка базы данных\n\nПеред запуском сервера необходимо настроить базу данных с расширением pgvector:\n\n1. Перейдите в редактор SQL на панели управления Supabase (при необходимости сначала создайте новый проект).\n\n2. Создайте новый запрос и вставьте содержимое `crawled_pages.sql`\n\n3. Выполнить запрос для создания необходимых таблиц и функций.\n\n## Конфигурация\n\nСоздайте файл `.env` в корне проекта со следующими переменными:\n\n```\n# MCP Server Configuration\nHOST=0.0.0.0\nPORT=8051\nTRANSPORT=sse\n\n# OpenAI API Configuration\nOPENAI_API_KEY=your_openai_api_key\n\n# Supabase Configuration\nSUPABASE_URL=your_supabase_project_url\nSUPABASE_SERVICE_KEY=your_supabase_service_key\n```\n\n## Запуск сервера\n\n### Использование Докера\n\n```bash\ndocker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag\n```\n\n### Использование Python\n\n```bash\nuv run src/crawl4ai_mcp.py\n```\n\nСервер запустится и будет прослушивать настроенный хост и порт.\n\n## Интеграция с клиентами MCP\n\n### Конфигурация SSE\n\nПосле того, как сервер будет запущен с транспортом SSE, вы сможете подключиться к нему, используя следующую конфигурацию:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"transport\": \"sse\",\n \"url\": \"http://localhost:8051/sse\"\n }\n }\n}\n```\n\n> **Примечание для пользователей Windsurf** : используйте `serverUrl` вместо `url` в вашей конфигурации:\n>\n> ```json\n> {\n> \"mcpServers\": {\n> \"crawl4ai-rag\": {\n> \"transport\": \"sse\",\n> \"serverUrl\": \"http://localhost:8051/sse\"\n> }\n> }\n> }\n> ```\n>\n> **Примечание для пользователей Docker** : используйте `host.docker.internal` вместо `localhost` , если ваш клиент работает в другом контейнере. Это будет применяться, если вы используете этот сервер MCP в n8n!\n\n### Конфигурация Stdio\n\nДобавьте этот сервер в конфигурацию MCP для Claude Desktop, Windsurf или любого другого клиента MCP:\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"python\",\n \"args\": [\"path/to/crawl4ai-mcp/src/crawl4ai_mcp.py\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n### Docker с конфигурацией Stdio\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"docker\",\n \"args\": [\"run\", \"--rm\", \"-i\", \n \"-e\", \"TRANSPORT\", \n \"-e\", \"OPENAI_API_KEY\", \n \"-e\", \"SUPABASE_URL\", \n \"-e\", \"SUPABASE_SERVICE_KEY\", \n \"mcp/crawl4ai\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n## Создание собственного сервера\n\nЭта реализация обеспечивает основу для создания более сложных серверов MCP с возможностями веб-сканирования. Чтобы создать свой собственный:\n\n1. Добавьте свои собственные инструменты, создав методы с помощью декоратора `@mcp.tool()`\n2. Создайте собственную функцию жизненного цикла, чтобы добавить собственные зависимости\n3. Измените файл `utils.py` для любых необходимых вам вспомогательных функций.\n4. Расширьте возможности сканирования, добавив больше специализированных сканеров.","Russian","ru-RU",{"_29":75,"_33":79,"_38":80},{"_31":76,"_33":77,"_35":78},"网络爬取和 RAG 实现使 AI 代理能够抓取网站并对抓取的内容执行语义搜索，将所有内容存储在 Supabase 中以进行持久的知识检索。","Crawl4AI RAG MCP 服务器","与[Crawl4AI](https://crawl4ai.com)和[Supabase](https://supabase.com/)集成的[模型上下文协议 (MCP)](https://modelcontextprotocol.io)的强大实现，为 AI 代理和 AI 编码助手提供高级网络爬虫和 RAG 功能。\n\n使用此 MCP 服务器，您可以抓取任何内容，然后在任何地方将该知识用于 RAG。\n\n我的主要目标是将这个 MCP 服务器引入[Archon](https://github.com/coleam00/Archon) ，并逐步将其发展为一个知识引擎，供 AI 编码助手构建 AI 代理。Crawl4AI/RAG MCP 服务器的第一个版本将很快得到大幅改进，尤其是使其更具可配置性，以便您可以使用不同的嵌入模型，并使用 Ollama 在本地运行所有内容。\n\n## 概述\n\n此 MCP 服务器提供工具，使 AI 代理能够爬取网站、将内容存储在矢量数据库 (Supabase) 中，并对爬取的内容执行 RAG。它遵循基于我之前在频道中提供的[Mem0 MCP 服务器模板](https://github.com/coleam00/mcp-mem0/)构建 MCP 服务器的最佳实践。\n\n## 想象\n\nCrawl4AI RAG MCP 服务器只是一个开始。接下来我们将进行以下工作：\n\n1. **与 Archon 集成**：将该系统直接构建到[Archon](https://github.com/coleam00/Archon)中，为 AI 编码助手创建一个全面的知识引擎，以构建更好的 AI 代理。\n\n2. **多种嵌入模型**：超越 OpenAI 扩展以支持各种嵌入模型，包括使用 Ollama 在本地运行所有内容以实现完全控制和隐私的能力。\n\n3. **先进的 RAG 策略**：实施复杂的检索技术，如上下文检索、后期分块等，以超越基本的“朴素查找”，并显著增强 RAG 系统的功能和精度，特别是与 Archon 集成时。\n\n4. **增强的分块策略**：实施受 Context 7 启发的分块方法，该方法侧重于示例并为每个块创建独特的、语义上有意义的部分，从而提高检索精度。\n\n5. **性能优化**：提高抓取和索引速度，使其能够更真实地“快速”索引新文档，然后在 AI 编码助手的同一提示中利用它。\n\n## 特征\n\n* **智能 URL 检测**：自动检测并处理不同的 URL 类型（常规网页、站点地图、文本文件）\n* **递归爬行**：跟踪内部链接以发现内容\n* **并行处理**：同时高效抓取多个页面\n* **内容分块**：根据标题和大小智能地拆分内容，以便更好地处理\n* **矢量搜索**：对抓取的内容执行 RAG，可选择按数据源进行过滤以提高精度\n* **源检索**：检索可供过滤的源以指导 RAG 流程\n\n## 工具\n\n该服务器提供了四个基本的网络爬虫和搜索工具：\n\n1. **`crawl_single_page`** ：快速抓取单个网页，并将其内容存储在向量数据库中\n2. **`smart_crawl_url`** ：根据提供的 URL 类型（站点地图、llms-full.txt 或需要递归抓取的常规网页）智能地抓取整个网站\n3. **`get_available_sources`** ：获取数据库中所有可用源（域）的列表\n4. **`perform_rag_query`** ：使用语义搜索和可选的源过滤来搜索相关内容\n\n## 先决条件\n\n* 如果将 MCP 服务器作为容器运行，则使用[Docker/Docker Desktop](https://www.docker.com/products/docker-desktop/) （推荐）\n* 如果直接通过 uv 运行 MCP 服务器，则[需要 Python 3.12 以上版本](https://www.python.org/downloads/)\n* [Supabase](https://supabase.com/) （RAG 数据库）\n* [OpenAI API 密钥](https://platform.openai.com/api-keys)（用于生成嵌入）\n\n## 安装\n\n### 使用 Docker（推荐）\n\n1. 克隆此存储库：\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. 构建 Docker 镜像：\n\n ```bash\n docker build -t mcp/crawl4ai-rag --build-arg PORT=8051 .\n ```\n\n3. 根据下面的配置部分创建一个`.env`文件\n\n### 直接使用 uv（无需 Docker）\n\n1. 克隆此存储库：\n\n ```bash\n git clone https://github.com/coleam00/mcp-crawl4ai-rag.git\n cd mcp-crawl4ai-rag\n ```\n\n2. 如果你没有 uv，请安装它：\n\n ```bash\n pip install uv\n ```\n\n3. 创建并激活虚拟环境：\n\n ```bash\n uv venv\n .venv\\Scripts\\activate\n # on Mac/Linux: source .venv/bin/activate\n ```\n\n4. 安装依赖项：\n\n ```bash\n uv pip install -e .\n crawl4ai-setup\n ```\n\n5. 根据下面的配置部分创建一个`.env`文件\n\n## 数据库设置\n\n在运行服务器之前，您需要使用 pgvector 扩展设置数据库：\n\n1. 转到 Supabase 仪表板中的 SQL 编辑器（如有必要，请先创建一个新项目）\n\n2. 创建新查询并粘贴`crawled_pages.sql`的内容\n\n3. 运行查询以创建必要的表和函数\n\n## 配置\n\n在项目根目录中创建一个`.env`文件，其中包含以下变量：\n\n```\n# MCP Server Configuration\nHOST=0.0.0.0\nPORT=8051\nTRANSPORT=sse\n\n# OpenAI API Configuration\nOPENAI_API_KEY=your_openai_api_key\n\n# Supabase Configuration\nSUPABASE_URL=your_supabase_project_url\nSUPABASE_SERVICE_KEY=your_supabase_service_key\n```\n\n## 运行服务器\n\n### 使用 Docker\n\n```bash\ndocker run --env-file .env -p 8051:8051 mcp/crawl4ai-rag\n```\n\n### 使用 Python\n\n```bash\nuv run src/crawl4ai_mcp.py\n```\n\n服务器将启动并监听配置的主机和端口。\n\n## 与 MCP 客户端集成\n\n### SSE配置\n\n一旦服务器使用 SSE 传输运行，您就可以使用以下配置连接到它：\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"transport\": \"sse\",\n \"url\": \"http://localhost:8051/sse\"\n }\n }\n}\n```\n\n> **Windsurf 用户请注意**：在配置中使用`serverUrl`而不是`url` ：\n>\n> ```json\n> {\n> \"mcpServers\": {\n> \"crawl4ai-rag\": {\n> \"transport\": \"sse\",\n> \"serverUrl\": \"http://localhost:8051/sse\"\n> }\n> }\n> }\n> ```\n>\n> **Docker 用户须知**：如果您的客户端运行在其他容器中，请使用`host.docker.internal`而不是`localhost` 。如果您在 n8n 中使用此 MCP 服务器，则此操作同样适用！\n\n### Stdio 配置\n\n将此服务器添加到 Claude Desktop、Windsurf 或任何其他 MCP 客户端的 MCP 配置中：\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"python\",\n \"args\": [\"path/to/crawl4ai-mcp/src/crawl4ai_mcp.py\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n### Docker 与 Stdio 配置\n\n```json\n{\n \"mcpServers\": {\n \"crawl4ai-rag\": {\n \"command\": \"docker\",\n \"args\": [\"run\", \"--rm\", \"-i\", \n \"-e\", \"TRANSPORT\", \n \"-e\", \"OPENAI_API_KEY\", \n \"-e\", \"SUPABASE_URL\", \n \"-e\", \"SUPABASE_SERVICE_KEY\", \n \"mcp/crawl4ai\"],\n \"env\": {\n \"TRANSPORT\": \"stdio\",\n \"OPENAI_API_KEY\": \"your_openai_api_key\",\n \"SUPABASE_URL\": \"your_supabase_url\",\n \"SUPABASE_SERVICE_KEY\": \"your_supabase_service_key\"\n }\n }\n }\n}\n```\n\n## 构建您自己的服务器\n\n此实现为构建更复杂、具有 Web 爬取功能的 MCP 服务器奠定了基础。要构建您自己的服务器，请执行以下操作：\n\n1. 通过使用`@mcp.tool()`装饰器创建方法添加您自己的工具\n2. 创建自己的生命周期函数来添加自己的依赖项\n3. 修改`utils.py`文件以获取您需要的任何辅助函数\n4. 通过添加更多专用爬虫来扩展爬取功能","Chinese","zh-CN","githubUser","locale",{"_84":85,"_86":87,"_13":117,"_124":42,"_125":42,"_126":127,"_130":131,"_153":-5,"_16":154,"_155":156,"_157":158,"_33":34,"_196":144,"_197":-5,"_198":-5,"_199":-5,"_200":-5,"_201":202,"_207":-5,"_165":140,"_208":209,"_213":-5,"_145":214,"_215":216},"addedAt","2025-05-05T20:05:46.069069815Z","argumentsJsonSchema",{"_88":89,"_114":115,"_95":116},"properties",{"_90":91,"_97":98,"_101":102,"_105":106,"_108":109,"_111":112},"HOST",{"_92":93,"_31":94,"_95":96},"default","0.0.0.0","Host for the MCP server","type","string","PORT",{"_92":99,"_31":100,"_95":96},"8051","Port for the MCP server","TRANSPORT",{"_92":103,"_31":104,"_95":96},"sse","Transport protocol for the MCP server (sse or stdio)","SUPABASE_URL",{"_31":107,"_95":96},"Your Supabase project URL","OPENAI_API_KEY",{"_31":110,"_95":96},"Your OpenAI API key for generating embeddings","SUPABASE_SERVICE_KEY",{"_31":113,"_95":96},"Your Supabase service key","required",[108,105,111],"object",[118,119,120,121,122,123],"category:web-scraping","category:rag-systems","environment:network","hosting:remote-capable","language:python","license_grade:a","descriptionMarkdown","descriptionPlainText","githubProject",{"_35":43,"_128":129},"url","https://github.com/coleam00/mcp-crawl4ai-rag","githubRepository",{"_132":133,"_134":135,"_136":137,"_138":139,"_33":140,"_141":142,"_147":148,"_149":150,"_152":148},"defaultBranch","main","fullName","coleam00/mcp-crawl4ai-rag","githubTreeId",116027,"language","Python","mcp-crawl4ai-rag","owner",{"_143":144,"_145":146},"login","coleam00","uid","234q2QTBs5","recentStargazers",215,"spdxLicense",{"_33":151},"MIT License","stargazers","glamaJson",6343,"inspectable",false,"integrations",[159,169,175,182,189],{"_160":161,"_31":167,"_145":168},"brand",{"_162":163,"_33":164,"_165":166},"logoSvgPath","M13.983 11.078h2.119a.186.186 0 00.186-.185V9.006a.186.186 0 00-.186-.186h-2.119a.185.185 0 00-.185.185v1.888c0 .102.083.185.185.185m-2.954-5.43h2.118a.186.186 0 00.186-.186V3.574a.186.186 0 00-.186-.185h-2.118a.185.185 0 00-.185.185v1.888c0 .102.082.185.185.185m0 2.716h2.118a.187.187 0 00.186-.186V6.29a.186.186 0 00-.186-.185h-2.118a.185.185 0 00-.185.185v1.887c0 .102.082.185.185.186m-2.93 0h2.12a.186.186 0 00.184-.186V6.29a.185.185 0 00-.185-.185H8.1a.185.185 0 00-.185.185v1.887c0 .102.083.185.185.186m-2.964 0h2.119a.186.186 0 00.185-.186V6.29a.185.185 0 00-.185-.185H5.136a.186.186 0 00-.186.185v1.887c0 .102.084.185.186.186m5.893 2.715h2.118a.186.186 0 00.186-.185V9.006a.186.186 0 00-.186-.186h-2.118a.185.185 0 00-.185.185v1.888c0 .102.082.185.185.185m-2.93 0h2.12a.185.185 0 00.184-.185V9.006a.185.185 0 00-.184-.186h-2.12a.185.185 0 00-.184.185v1.888c0 .102.083.185.185.185m-2.964 0h2.119a.185.185 0 00.185-.185V9.006a.185.185 0 00-.184-.186h-2.12a.186.186 0 00-.186.186v1.887c0 .102.084.185.186.185m-2.92 0h2.12a.185.185 0 00.184-.185V9.006a.185.185 0 00-.184-.186h-2.12a.185.185 0 00-.184.185v1.888c0 .102.082.185.185.185M23.763 9.89c-.065-.051-.672-.51-1.954-.51-.338.001-.676.03-1.01.087-.248-1.7-1.653-2.53-1.716-2.566l-.344-.199-.226.327c-.284.438-.49.922-.612 1.43-.23.97-.09 1.882.403 2.661-.595.332-1.55.413-1.744.42H.751a.751.751 0 00-.75.748 11.376 11.376 0 00.692 4.062c.545 1.428 1.355 2.48 2.41 3.124 1.18.723 3.1 1.137 5.275 1.137.983.003 1.963-.086 2.93-.266a12.248 12.248 0 003.823-1.389c.98-.567 1.86-1.288 2.61-2.136 1.252-1.418 1.998-2.997 2.553-4.4h.221c1.372 0 2.215-.549 2.68-1.009.309-.293.55-.65.707-1.046l.098-.288Z","Docker","slug","docker","Allows running the MCP server as a container, with configuration options for both SSE and stdio transports","axp1lw28yj",{"_160":170,"_31":173,"_145":174},{"_162":171,"_33":172,"_165":172},"M21.4737 5.6842c-1.1772 0-2.1663.8051-2.4468 1.8947h-2.8955c-1.235 0-2.289.893-2.492 2.111l-.1038.623a1.263 1.263 0 0 1-1.246 1.0555H11.289c-.2805-1.0896-1.2696-1.8947-2.4468-1.8947s-2.1663.8051-2.4467 1.8947H4.973c-.2805-1.0896-1.2696-1.8947-2.4468-1.8947C1.1311 9.4737 0 10.6047 0 12s1.131 2.5263 2.5263 2.5263c1.1772 0 2.1663-.8051 2.4468-1.8947h1.4223c.2804 1.0896 1.2696 1.8947 2.4467 1.8947 1.1772 0 2.1663-.8051 2.4468-1.8947h1.0008a1.263 1.263 0 0 1 1.2459 1.0555l.1038.623c.203 1.218 1.257 2.111 2.492 2.111h.3692c.2804 1.0895 1.2696 1.8947 2.4468 1.8947 1.3952 0 2.5263-1.131 2.5263-2.5263s-1.131-2.5263-2.5263-2.5263c-1.1772 0-2.1664.805-2.4468 1.8947h-.3692a1.263 1.263 0 0 1-1.246-1.0555l-.1037-.623A2.52 2.52 0 0 0 13.9607 12a2.52 2.52 0 0 0 .821-1.4794l.1038-.623a1.263 1.263 0 0 1 1.2459-1.0555h2.8955c.2805 1.0896 1.2696 1.8947 2.4468 1.8947 1.3952 0 2.5263-1.131 2.5263-2.5263s-1.131-2.5263-2.5263-2.5263m0 1.2632a1.263 1.263 0 0 1 1.2631 1.2631 1.263 1.263 0 0 1-1.2631 1.2632 1.263 1.263 0 0 1-1.2632-1.2632 1.263 1.263 0 0 1 1.2632-1.2631M2.5263 10.7368A1.263 1.263 0 0 1 3.7895 12a1.263 1.263 0 0 1-1.2632 1.2632A1.263 1.263 0 0 1 1.2632 12a1.263 1.263 0 0 1 1.2631-1.2632m6.3158 0A1.263 1.263 0 0 1 10.1053 12a1.263 1.263 0 0 1-1.2632 1.2632A1.263 1.263 0 0 1 7.579 12a1.263 1.263 0 0 1 1.2632-1.2632m10.1053 3.7895a1.263 1.263 0 0 1 1.2631 1.2632 1.263 1.263 0 0 1-1.2631 1.2631 1.263 1.263 0 0 1-1.2632-1.2631 1.263 1.263 0 0 1 1.2632-1.2632","n8n","Supports integration with n8n, with special network configuration instructions for Docker environments","ba3r6uda9b",{"_160":176,"_31":180,"_145":181},{"_162":177,"_33":178,"_165":179},"M16.361 10.26a.894.894 0 0 0-.558.47l-.072.148.001.207c0 .193.004.217.059.353.076.193.152.312.291.448.24.238.51.3.872.205a.86.86 0 0 0 .517-.436.752.752 0 0 0 .08-.498c-.064-.453-.33-.782-.724-.897a1.06 1.06 0 0 0-.466 0zm-9.203.005c-.305.096-.533.32-.65.639a1.187 1.187 0 0 0-.06.52c.057.309.31.59.598.667.362.095.632.033.872-.205.14-.136.215-.255.291-.448.055-.136.059-.16.059-.353l.001-.207-.072-.148a.894.894 0 0 0-.565-.472 1.02 1.02 0 0 0-.474.007Zm4.184 2c-.131.071-.223.25-.195.383.031.143.157.288.353.407.105.063.112.072.117.136.004.038-.01.146-.029.243-.02.094-.036.194-.036.222.002.074.07.195.143.253.064.052.076.054.255.059.164.005.198.001.264-.03.169-.082.212-.234.15-.525-.052-.243-.042-.28.087-.355.137-.08.281-.219.324-.314a.365.365 0 0 0-.175-.48.394.394 0 0 0-.181-.033c-.126 0-.207.03-.355.124l-.085.053-.053-.032c-.219-.13-.259-.145-.391-.143a.396.396 0 0 0-.193.032zm.39-2.195c-.373.036-.475.05-.654.086-.291.06-.68.195-.951.328-.94.46-1.589 1.226-1.787 2.114-.04.176-.045.234-.045.53 0 .294.005.357.043.524.264 1.16 1.332 2.017 2.714 2.173.3.033 1.596.033 1.896 0 1.11-.125 2.064-.727 2.493-1.571.114-.226.169-.372.22-.602.039-.167.044-.23.044-.523 0-.297-.005-.355-.045-.531-.288-1.29-1.539-2.304-3.072-2.497a6.873 6.873 0 0 0-.855-.031zm.645.937a3.283 3.283 0 0 1 1.44.514c.223.148.537.458.671.662.166.251.26.508.303.82.02.143.01.251-.043.482-.08.345-.332.705-.672.957a3.115 3.115 0 0 1-.689.348c-.382.122-.632.144-1.525.138-.582-.006-.686-.01-.853-.042-.57-.107-1.022-.334-1.35-.68-.264-.28-.385-.535-.45-.946-.03-.192.025-.509.137-.776.136-.326.488-.73.836-.963.403-.269.934-.46 1.422-.512.187-.02.586-.02.773-.002zm-5.503-11a1.653 1.653 0 0 0-.683.298C5.617.74 5.173 1.666 4.985 2.819c-.07.436-.119 1.04-.119 1.503 0 .544.064 1.24.155 1.721.02.107.031.202.023.208a8.12 8.12 0 0 1-.187.152 5.324 5.324 0 0 0-.949 1.02 5.49 5.49 0 0 0-.94 2.339 6.625 6.625 0 0 0-.023 1.357c.091.78.325 1.438.727 2.04l.13.195-.037.064c-.269.452-.498 1.105-.605 1.732-.084.496-.095.629-.095 1.294 0 .67.009.803.088 1.266.095.555.288 1.143.503 1.534.071.128.243.393.264.407.007.003-.014.067-.046.141a7.405 7.405 0 0 0-.548 1.873c-.062.417-.071.552-.071.991 0 .56.031.832.148 1.279L3.42 24h1.478l-.05-.091c-.297-.552-.325-1.575-.068-2.597.117-.472.25-.819.498-1.296l.148-.29v-.177c0-.165-.003-.184-.057-.293a.915.915 0 0 0-.194-.25 1.74 1.74 0 0 1-.385-.543c-.424-.92-.506-2.286-.208-3.451.124-.486.329-.918.544-1.154a.787.787 0 0 0 .223-.531c0-.195-.07-.355-.224-.522a3.136 3.136 0 0 1-.817-1.729c-.14-.96.114-2.005.69-2.834.563-.814 1.353-1.336 2.237-1.475.199-.033.57-.028.776.01.226.04.367.028.512-.041.179-.085.268-.19.374-.431.093-.215.165-.333.36-.576.234-.29.46-.489.822-.729.413-.27.884-.467 1.352-.561.17-.035.25-.04.569-.04.319 0 .398.005.569.04a4.07 4.07 0 0 1 1.914.997c.117.109.398.457.488.602.034.057.095.177.132.267.105.241.195.346.374.43.14.068.286.082.503.045.343-.058.607-.053.943.016 1.144.23 2.14 1.173 2.581 2.437.385 1.108.276 2.267-.296 3.153-.097.15-.193.27-.333.419-.301.322-.301.722-.001 1.053.493.539.801 1.866.708 3.036-.062.772-.26 1.463-.533 1.854a2.096 2.096 0 0 1-.224.258.916.916 0 0 0-.194.25c-.054.109-.057.128-.057.293v.178l.148.29c.248.476.38.823.498 1.295.253 1.008.231 2.01-.059 2.581a.845.845 0 0 0-.044.098c0 .006.329.009.732.009h.73l.02-.074.036-.134c.019-.076.057-.3.088-.516.029-.217.029-1.016 0-1.258-.11-.875-.295-1.57-.597-2.226-.032-.074-.053-.138-.046-.141.008-.005.057-.074.108-.152.376-.569.607-1.284.724-2.228.031-.26.031-1.378 0-1.628-.083-.645-.182-1.082-.348-1.525a6.083 6.083 0 0 0-.329-.7l-.038-.064.131-.194c.402-.604.636-1.262.727-2.04a6.625 6.625 0 0 0-.024-1.358 5.512 5.512 0 0 0-.939-2.339 5.325 5.325 0 0 0-.95-1.02 8.097 8.097 0 0 1-.186-.152.692.692 0 0 1 .023-.208c.208-1.087.201-2.443-.017-3.503-.19-.924-.535-1.658-.98-2.082-.354-.338-.716-.482-1.15-.455-.996.059-1.8 1.205-2.116 3.01a6.805 6.805 0 0 0-.097.726c0 .036-.007.066-.015.066a.96.96 0 0 1-.149-.078A4.857 4.857 0 0 0 12 3.03c-.832 0-1.687.243-2.456.698a.958.958 0 0 1-.148.078c-.008 0-.015-.03-.015-.066a6.71 6.71 0 0 0-.097-.725C8.997 1.392 8.337.319 7.46.048a2.096 2.096 0 0 0-.585-.041Zm.293 1.402c.248.197.523.759.682 1.388.03.113.06.244.069.292.007.047.026.152.041.233.067.365.098.76.102 1.24l.002.475-.12.175-.118.178h-.278c-.324 0-.646.041-.954.124l-.238.06c-.033.007-.038-.003-.057-.144a8.438 8.438 0 0 1 .016-2.323c.124-.788.413-1.501.696-1.711.067-.05.079-.049.157.013zm9.825-.012c.17.126.358.46.498.888.28.854.36 2.028.212 3.145-.019.14-.024.151-.057.144l-.238-.06a3.693 3.693 0 0 0-.954-.124h-.278l-.119-.178-.119-.175.002-.474c.004-.669.066-1.19.214-1.772.157-.623.434-1.185.68-1.382.078-.062.09-.063.159-.012z","Ollama","ollama","Planned future integration to enable running embedding models locally for complete privacy and control","cscw5jec2n",{"_160":183,"_31":187,"_145":188},{"_162":184,"_33":185,"_165":186},"M22.2819 9.8211a5.9847 5.9847 0 0 0-.5157-4.9108 6.0462 6.0462 0 0 0-6.5098-2.9A6.0651 6.0651 0 0 0 4.9807 4.1818a5.9847 5.9847 0 0 0-3.9977 2.9 6.0462 6.0462 0 0 0 .7427 7.0966 5.98 5.98 0 0 0 .511 4.9107 6.051 6.051 0 0 0 6.5146 2.9001A5.9847 5.9847 0 0 0 13.2599 24a6.0557 6.0557 0 0 0 5.7718-4.2058 5.9894 5.9894 0 0 0 3.9977-2.9001 6.0557 6.0557 0 0 0-.7475-7.0729zm-9.022 12.6081a4.4755 4.4755 0 0 1-2.8764-1.0408l.1419-.0804 4.7783-2.7582a.7948.7948 0 0 0 .3927-.6813v-6.7369l2.02 1.1686a.071.071 0 0 1 .038.052v5.5826a4.504 4.504 0 0 1-4.4945 4.4944zm-9.6607-4.1254a4.4708 4.4708 0 0 1-.5346-3.0137l.142.0852 4.783 2.7582a.7712.7712 0 0 0 .7806 0l5.8428-3.3685v2.3324a.0804.0804 0 0 1-.0332.0615L9.74 19.9502a4.4992 4.4992 0 0 1-6.1408-1.6464zM2.3408 7.8956a4.485 4.485 0 0 1 2.3655-1.9728V11.6a.7664.7664 0 0 0 .3879.6765l5.8144 3.3543-2.0201 1.1685a.0757.0757 0 0 1-.071 0l-4.8303-2.7865A4.504 4.504 0 0 1 2.3408 7.872zm16.5963 3.8558L13.1038 8.364 15.1192 7.2a.0757.0757 0 0 1 .071 0l4.8303 2.7913a4.4944 4.4944 0 0 1-.6765 8.1042v-5.6772a.79.79 0 0 0-.407-.667zm2.0107-3.0231l-.142-.0852-4.7735-2.7818a.7759.7759 0 0 0-.7854 0L9.409 9.2297V6.8974a.0662.0662 0 0 1 .0284-.0615l4.8303-2.7866a4.4992 4.4992 0 0 1 6.6802 4.66zM8.3065 12.863l-2.02-1.1638a.0804.0804 0 0 1-.038-.0567V6.0742a4.4992 4.4992 0 0 1 7.3757-3.4537l-.142.0805L8.704 5.459a.7948.7948 0 0 0-.3927.6813zm1.0976-2.3654l2.602-1.4998 2.6069 1.4998v2.9994l-2.5974 1.4997-2.6067-1.4997Z","OpenAI","openai","Uses OpenAI API for generating vector embeddings for crawled content to enable semantic search","8ke0nuznpu",{"_160":190,"_31":194,"_145":195},{"_162":191,"_33":192,"_165":193},"M11.9 1.036c-.015-.986-1.26-1.41-1.874-.637L.764 12.05C-.33 13.427.65 15.455 2.409 15.455h9.579l.113 7.51c.014.985 1.259 1.408 1.873.636l9.262-11.653c1.093-1.375.113-3.403-1.645-3.403h-9.642z","Supabase","supabase","Provides vector database capabilities for storing and retrieving crawled web content with pgvector extension","pn46cuif5s","namespace","npmPackage","prompts","redditPostForeignId","resources","scores",{"_203":204,"_205":-5,"_206":-5},"license",100,"quality","security","simpleIcon","supportedPlatforms",[210,211,212],"WINDOWS","LINUX","MACOS","tools","0tzydxm4hi","updatedAt","2025-05-07T23:00:22.559559062Z","meta",[219,222,224,231,234,236,239,242,245,248,251,253,256,259,261,263,265,267,269],{"_220":221},"title","Crawl4AI RAG MCP Server | Glama",{"_223":42,"_33":31},"content",{"_225":226,"_227":228,"_229":230},"href","https://glama.ai/mcp/servers/@coleam00/mcp-crawl4ai-rag","rel","canonical","tagName","link",{"_223":34,"_232":233},"property","og:title",{"_223":42,"_232":235},"og:description",{"_223":237,"_232":238},"https://glama.ai/logo.png","og:logo",{"_223":240,"_232":241},"https://glama.ai/mcp/servers/@coleam00/mcp-crawl4ai-rag/og-image","og:image",{"_223":243,"_232":244},"630","og:image:height",{"_223":246,"_232":247},"1200","og:image:width",{"_223":249,"_232":250},"website","og:type",{"_223":226,"_232":252},"og:url",{"_223":254,"_232":255},"Glama – MCP Hosting Platform","og:site_name",{"_223":257,"_33":258},"summary_large_image","twitter:card",{"_223":254,"_33":260},"twitter:title",{"_223":42,"_33":262},"twitter:description",{"_223":240,"_33":264},"twitter:image",{"_223":243,"_33":266},"twitter:image:height",{"_223":246,"_33":268},"twitter:image:width",{"_270":271},"script:ld+json",{"_272":273,"_274":275},"@context","http://schema.org","@graph",[276],{"_272":277,"_278":279,"_280":281},"https://schema.org","@type","BreadcrumbList","itemListElement",[282,289,293,297],{"_278":283,"_284":285,"_33":286,"_287":288},"ListItem","item","https://glama.ai/","Glama","position",1,{"_278":283,"_284":290,"_33":291,"_287":292},"https://glama.ai/mcp","MCP",2,{"_278":283,"_284":294,"_33":295,"_287":296},"https://glama.ai/mcp/servers","Servers",3,{"_278":283,"_284":226,"_33":34,"_287":298},4,"visitorIsMaintainer","routes/_public/mcp/servers/~namespace/~slug/_pages/reviews/_route",{"_81":-5,"_29":302,"_217":330,"_365":-5},{"_84":85,"_86":303,"_13":312,"_124":42,"_125":42,"_126":313,"_130":314,"_153":-5,"_16":154,"_155":156,"_157":317,"_33":34,"_196":144,"_197":-5,"_198":-5,"_199":-5,"_200":-5,"_201":328,"_207":-5,"_165":140,"_208":329,"_213":-5,"_145":214,"_215":216},{"_88":304,"_114":311,"_95":116},{"_90":305,"_97":306,"_101":307,"_105":308,"_108":309,"_111":310},{"_92":93,"_31":94,"_95":96},{"_92":99,"_31":100,"_95":96},{"_92":103,"_31":104,"_95":96},{"_31":107,"_95":96},{"_31":110,"_95":96},{"_31":113,"_95":96},[108,105,111],[118,119,120,121,122,123],{"_35":43,"_128":129},{"_132":133,"_134":135,"_136":137,"_138":139,"_33":140,"_141":315,"_147":148,"_149":316,"_152":148},{"_143":144,"_145":146},{"_33":151},[318,320,322,324,326],{"_160":319,"_31":167,"_145":168},{"_162":163,"_33":164,"_165":166},{"_160":321,"_31":173,"_145":174},{"_162":171,"_33":172,"_165":172},{"_160":323,"_31":180,"_145":181},{"_162":177,"_33":178,"_165":179},{"_160":325,"_31":187,"_145":188},{"_162":184,"_33":185,"_165":186},{"_160":327,"_31":194,"_145":195},{"_162":191,"_33":192,"_165":193},{"_203":204,"_205":-5,"_206":-5},[210,211,212],[331,333,335,337,339,340,341,342,343,344,345,346,347,348,349,350,351,352,353],{"_220":332},"Reviews | Crawl4AI RAG MCP Server | Glama",{"_223":334,"_33":31},"Read community reviews and feedback for Crawl4AI RAG MCP Server. Discover user experiences, ratings, strengths, and potential limitations of this MCP implementation from actual users.",{"_225":336,"_227":228,"_229":230},"https://glama.ai/mcp/servers/@coleam00/mcp-crawl4ai-rag/reviews",{"_223":338,"_232":233},"Reviews | Crawl4AI RAG MCP Server",{"_223":334,"_232":235},{"_223":237,"_232":238},{"_223":240,"_232":241},{"_223":243,"_232":244},{"_223":246,"_232":247},{"_223":249,"_232":250},{"_223":336,"_232":252},{"_223":254,"_232":255},{"_223":257,"_33":258},{"_223":254,"_33":260},{"_223":334,"_33":262},{"_223":240,"_33":264},{"_223":243,"_33":266},{"_223":246,"_33":268},{"_270":354},{"_272":273,"_274":355},[356],{"_272":277,"_278":279,"_280":357},[358,359,360,361,362],{"_278":283,"_284":285,"_33":286,"_287":288},{"_278":283,"_284":290,"_33":291,"_287":292},{"_278":283,"_284":294,"_33":295,"_287":296},{"_278":283,"_284":226,"_33":34,"_287":298},{"_278":283,"_284":336,"_33":363,"_287":364},"Reviews",5,"review","actionData","errors"]

Rate & Review

MCP directory API