[{"_1":2,"_375":-5,"_376":-5},"loaderData",{"_3":4,"_22":23,"_269":270},"root",{"_5":6,"_7":8},"toasts",[],"visitor",{"_9":10,"_11":12},"viewportWidth",1280,"visitorSession",{"_13":14,"_16":17,"_18":-5,"_19":20,"_21":-5},"attributes",[15],"bot","id",17216360,"membership","referenceId","01999741-5648-746d-aa76-377bfd37ef27","userAccount","routes/_public/mcp/servers/~namespace/~slug/_pages/_layout",{"_24":25,"_78":-5,"_79":38,"_27":80,"_186":187,"_268":169},"availableLocales",[26,38,44,51,57,64,71],{"_27":28,"_31":35,"_36":37},"mcpServer",{"_29":30,"_31":32,"_33":34},"description","Schließen Sie die Lücke zwischen Ihrem Web-Crawler und KI-Sprachmodellen. Mit mcp-server-webcrawl filtert und analysiert Ihr KI-Client Webinhalte unter Ihrer Anleitung oder autonom und gewinnt daraus Erkenntnisse.\n\nUnterstützt WARC-, Wget-, InterroBot-, Katana- und SiteOne-Crawler.","name","mcp-server-webcrawl","readme","# mcp-server-webcrawl\n\nÜberbrücken Sie die Lücke zwischen Ihrem Webcrawl und KI-Sprachmodellen mit dem Model Context Protocol (MCP). Mit **mcp-server-webcrawl** filtert und analysiert Ihr KI-Client Webinhalte unter Ihrer Anleitung oder autonom. Der Server bietet eine Volltextsuche mit Boolescher Unterstützung, Ressourcenfilterung nach Typ, HTTP-Status und mehr.\n\n**mcp-server-webcrawl** bietet dem LLM ein vollständiges Menü zum Durchsuchen Ihrer Webinhalte und funktioniert mit einer Vielzahl von Webcrawlern:\n\n* [WARC](https://en.wikipedia.org/wiki/WARC_\$file_format\$)\n* [wget](https://en.wikipedia.org/wiki/Wget)\n* [InterroBot](https://interro.bot)\n* [Katana](https://github.com/projectdiscovery/katana)\n* [SiteOne](https://crawler.siteone.io)\n\n**mcp-server-webcrawl** ist kostenlos und Open Source und erfordert Claude Desktop und Python (>=3.10). Die Installation erfolgt über die Kommandozeile mit pip install:\n\n```bash\npip install mcp-server-webcrawl\n```\n\n## Merkmale\n\n* Claude Desktop bereit\n* Unterstützung der Volltextsuche\n* Filtern nach Typ, Status und mehr\n* Multi-Crawler-kompatibel\n* Unterstützt erweiterte/boolesche und Feldsuche\n\n## MCP-Konfiguration\n\nNavigieren Sie im Claude Desktop-Menü zu Datei > Einstellungen > Entwickler. Klicken Sie auf „Konfiguration bearbeiten“, um die Konfigurationsdatei zu finden. Öffnen Sie sie in einem Editor Ihrer Wahl und passen Sie das Beispiel an Ihren datasrc-Pfad an.\n\nSie können bei Bedarf weitere MCP-Server-Webcrawl-Verbindungen unter mcpServers einrichten.\n\n```json\n{\r\n \"mcpServers\": {\r\n \"webcrawl\": {\r\n \"command\": [varies by OS/env, see below],\r\n \"args\": [varies by crawler, see below]\r\n }\r\n }\r\n}\n```\n\nEine schrittweise Anleitung zur Einrichtung finden Sie in den [Einrichtungshandbüchern](https://pragmar.github.io/mcp-server-webcrawl/guides.html) .\n\n### Windows vs. macOS\n\nWindows: Befehl auf „mcp-server-webcrawl“ eingestellt\n\nmacOS: Befehl auf absoluten Pfad setzen, also den Wert von $ which mcp-server-webcrawl\n\nZum Beispiel:\n\n```json\n\"command\": \"/Users/yourusername/.local/bin/mcp-server-webcrawl\",\n```\n\nSo finden Sie den absoluten Pfad der ausführbaren Datei `mcp-server-webcrawl` auf Ihrem System:\n\n1. Terminal öffnen\n2. Führen Sie `which mcp-server-webcrawl` aus\n3. Kopieren Sie den vollständigen zurückgegebenen Pfad und verwenden Sie ihn in Ihrer Konfigurationsdatei\n\n### wget (mit --mirror)\n\nDas Argument datasrc sollte auf das übergeordnete Verzeichnis der Spiegel gesetzt werden.\n\n```\n\"args\": [\"--crawler\", \"wget\", \"--datasrc\", \"/path/to/wget/archives/\"]\n```\n\n### WARC\n\nDas Argument datasrc sollte auf das übergeordnete Verzeichnis der WARC-Dateien gesetzt werden.\n\n```\n\"args\": [\"--crawler\", \"warc\", \"--datasrc\", \"/path/to/warc/archives/\"]\n```\n\n### InterroBot\n\nDas Argument datasrc sollte auf den direkten Pfad zur Datenbank gesetzt werden.\n\n```\n\"args\": [\"--crawler\", \"interrobot\", \"--datasrc\", \"/path/to/Documents/InterroBot/interrobot.v2.db\"]\n```\n\n### Katana\n\nDas Argument datasrc sollte auf das Verzeichnis der Stammhosts gesetzt werden. Katana trennt Seiten und Medien nach Hosts. ./archives/example.com/example.com wird erwartet und ist angemessen. Komplexere Websites erweitern die Crawl-Daten in die Ursprungshostverzeichnisse.\n\n```\n\"args\": [\"--crawler\", \"katana\", \"--datasrc\", \"/path/to/katana/archives/\"]\n```\n\n### SiteOne (mithilfe *der Offline-Website generieren* )\n\nDas Argument datasrc sollte auf das übergeordnete Verzeichnis der Archive gesetzt werden, die Archivierung muss aktiviert sein.\n\n```\n\"args\": [\"--crawler\", \"siteone\", \"--datasrc\", \"/path/to/SiteOne/archives/\"]\n```\n\n## Boolesche Suchsyntax\n\nDie Abfrage-Engine unterstützt feldspezifische ( `field: value` ) Suchen und komplexe boolesche Ausdrücke. Volltext wird als Kombination der Felder „URL“, „Inhalt“ und „Header“ unterstützt.\n\nObwohl die API-Schnittstelle für die direkte Nutzung durch das LLM konzipiert ist, kann es hilfreich sein, sich mit der Suchsyntax vertraut zu machen. Vom LLM generierte Suchvorgänge sind zwar überprüfbar, werden aber in der Benutzeroberfläche in der Regel reduziert. Wenn Sie die Abfrage sehen möchten, erweitern Sie die MCP-Reduzierbarkeit.\n\n**Beispielabfragen**\n\n| Abfragebeispiel | Beschreibung |\n| ------------------------------------- | ------------------------------------------------------------------------------------------------------- |\n| Datenschutz | Volltext mit einzelner Schlüsselwortübereinstimmung |\n| \"Datenschutzrichtlinie\" | Volltextübereinstimmung mit exakter Phrase |\n| Grenze\\* | Volltext-Platzhalter stimmt mit Ergebnissen überein, die mit *Boundar* (Boundary, Boundaries) beginnen. |\n| ID: 12345 | Das ID-Feld stimmt mit einer bestimmten Ressource über die ID überein |\n| URL: example.com/\\* | Das URL-Feld gleicht Ergebnisse mit einer URL ab, die example.com/ enthält. |\n| Typ: HTML | Typfeldübereinstimmungen nur für HTML-Seiten |\n| Status: 200 | Das Statusfeld entspricht bestimmten HTTP-Statuscodes (entspricht 200). |\n| Status: >=400 | Das Statusfeld entspricht einem bestimmten HTTP-Statuscode (größer oder gleich 400). |\n| Inhalt: h1 | Inhaltsfeld entspricht Inhalt (HTTP-Antworttext, oft, aber nicht immer HTML) |\n| Überschriften: Text/XML | Das Header-Feld entspricht den HTTP-Antwortheadern |\n| Datenschutz und Richtlinien | Volltext stimmt mit beiden überein |\n| Datenschutz-Bestimmungen | Volltext stimmt entweder überein |\n| Richtlinien, NICHT Datenschutz | Volltext stimmt mit Richtlinien überein, die keinen Datenschutz enthalten |\n| (Anmelden ODER Anmelden) UND Formular | Volltext stimmt mit Volltext überein, Login oder Anmeldung mit Formular |\n| Typ: HTML UND Status: 200 | Volltext stimmt nur mit HTML-Seiten überein, bei denen HTTP erfolgreich war |\n\n## Feldsuchdefinitionen\n\nDie Feldsuche bietet Suchpräzision und ermöglicht es Ihnen, festzulegen, welche Spalten des Suchindex gefiltert werden sollen. Anstatt den gesamten Inhalt zu durchsuchen, können Sie Ihre Abfrage auf bestimmte Attribute wie URLs, Überschriften oder den Textkörper beschränken. Dieser Ansatz verbessert die Effizienz bei der Suche nach bestimmten Attributen oder Mustern in Crawldaten.\n\n| Feld | Beschreibung |\n| ------------- | ----------------------------------------------- |\n| Ausweis | Datenbank-ID |\n| URL | Ressourcen-URL |\n| Typ | Aufzählungsliste der Typen (siehe Typentabelle) |\n| Status | HTTP-Antwortcodes |\n| Überschriften | HTTP-Antwortheader |\n| Inhalt | HTTP-Text – HTML, CSS, JS und mehr |\n\n## Inhaltstypen\n\nCrawls erfassen eine Vielzahl von Ressourcentypen, die über HTML-Seiten hinausgehen. Die Suche im Feld `type:` ermöglicht das Filtern nach breiten Inhaltstypgruppen. Dies ist besonders nützlich beim Filtern von Bildern ohne komplexe Erweiterungsabfragen. Beispielsweise können Sie nach `type: html NOT content: login` suchen, um Seiten ohne „login“ zu finden, oder `type: img` , um Bildressourcen zu analysieren. Die folgende Tabelle listet alle im Suchsystem unterstützten Inhaltstypen auf.\n\n| Typ | Beschreibung |\n| ---------- | --------------------- |\n| html | Webseiten |\n| iframe | iframes |\n| img | Webbilder |\n| Audio- | Web-Audiodateien |\n| Video | Webvideodateien |\n| Schriftart | Webfont-Dateien |\n| Stil | CSS-Stylesheets |\n| Skript | JavaScript-Dateien |\n| RSS | RSS-Syndication-Feeds |\n| Text | Nur-Text-Inhalt |\n| pdf | PDF-Dateien |\n| Dokument | MS Word-Dokumente |\n| andere | nicht kategorisiert |","German","tag","de-DE",{"_27":39,"_31":42,"_36":43},{"_29":40,"_31":32,"_33":41},"Bridge the gap between your web crawl and AI language models. With mcp-server-webcrawl, your AI client filters and analyzes web content under your direction or autonomously, extracting insights from your web content.\n\nSupports WARC, wget, InterroBot, Katana, and SiteOne crawlers.","

\r\n $\"MCP$ \r\n

\r\n\r\n

\r\n Website |\r\n Github |\r\n Docs |\r\n PyPi\r\n

\r\n\r\n# mcp-server-webcrawl\r\n\r\nBridge the gap between your web crawl and AI language models using Model Context Protocol (MCP).\r\nWith **mcp-server-webcrawl**, your AI client filters and analyzes web content under your direction or autonomously. The server includes a full-text search interface with boolean support, resource filtering by type, HTTP status,\r\nand more.\r\n\r\n**mcp-server-webcrawl** provides the LLM a complete menu with which to search your web content, and works with\r\na variety of web crawlers:\r\n\r\n* [WARC](https://en.wikipedia.org/wiki/WARC_(file_format))\r\n* [wget](https://en.wikipedia.org/wiki/Wget)\r\n* [InterroBot](https://interro.bot)\r\n* [Katana](https://github.com/projectdiscovery/katana)\r\n* [SiteOne](https://crawler.siteone.io)\r\n\r\n**mcp-server-webcrawl** is free and open source, and requires Claude Desktop and Python (>=3.10). It is installed on the command line, via pip install:\r\n\r\n```bash\r\npip install mcp-server-webcrawl\r\n```\r\n\r\n## Features\r\n\r\n* Claude Desktop ready\r\n* Fulltext search support\r\n* Filter by type, status, and more\r\n* Multi-crawler compatible\r\n* Supports advanced/boolean and field searching\r\n\r\n## MCP Configuration\r\n\r\nFrom the Claude Desktop menu, navigate to File > Settings > Developer. Click Edit Config to locate the configuration file, open in the editor of your choice and modify the example to reflect your datasrc path.\r\n\r\nYou can set up more mcp-server-webcrawl connections under mcpServers as needed.\r\n\r\n```json\r\n{\r\n \"mcpServers\": {\r\n \"webcrawl\": {\r\n \"command\": [varies by OS/env, see below],\r\n \"args\": [varies by crawler, see below]\r\n }\r\n }\r\n}\r\n```\r\n\r\nFor step-by-step setup, refer to the [Setup Guides](https://pragmar.github.io/mcp-server-webcrawl/guides.html).\r\n\r\n### Windows vs. macOS\r\n\r\nWindows: command set to \"mcp-server-webcrawl\"\r\n\r\nmacOS: command set to absolute path, i.e. the value of $ which mcp-server-webcrawl\r\n\r\nFor example:\r\n\r\n```json\r\n\"command\": \"/Users/yourusername/.local/bin/mcp-server-webcrawl\",\r\n```\r\n\r\nTo find the absolute path of the `mcp-server-webcrawl` executable on your system:\r\n\r\n1. Open Terminal\r\n2. Run `which mcp-server-webcrawl`\r\n3. Copy the full path returned and use it in your config file\r\n\r\n### wget (using --mirror)\r\n\r\nThe datasrc argument should be set to the parent directory of the mirrors.\r\n\r\n```\r\n\"args\": [\"--crawler\", \"wget\", \"--datasrc\", \"/path/to/wget/archives/\"]\r\n```\r\n\r\n### WARC\r\n\r\nThe datasrc argument should be set to the parent directory of the WARC files.\r\n\r\n```\r\n\"args\": [\"--crawler\", \"warc\", \"--datasrc\", \"/path/to/warc/archives/\"]\r\n```\r\n\r\n### InterroBot\r\n\r\nThe datasrc argument should be set to the direct path to the database.\r\n\r\n```\r\n\"args\": [\"--crawler\", \"interrobot\", \"--datasrc\", \"/path/to/Documents/InterroBot/interrobot.v2.db\"]\r\n```\r\n\r\n### Katana\r\n\r\nThe datasrc argument should be set to the directory of root hosts. Katana separates pages and\r\nmedia by hosts, ./archives/example.com/example.com is expected, and appropriate. More\r\ncomplicated sites expand the crawl data into origin host directories.\r\n\r\n```\r\n\"args\": [\"--crawler\", \"katana\", \"--datasrc\", \"/path/to/katana/archives/\"]\r\n```\r\n\r\n### SiteOne (using *Generate offline website*)\r\n\r\nThe datasrc argument should be set to the parent directory of the archives, archiving\r\nmust be enabled.\r\n\r\n```\r\n\"args\": [\"--crawler\", \"siteone\", \"--datasrc\", \"/path/to/SiteOne/archives/\"]\r\n```\r\n\r\n## Boolean Search Syntax\r\n\r\nThe query engine supports field-specific (`field: value`) searches and complex boolean\r\nexpressions. Fulltext is supported as a combination of the url, content, and headers fields.\r\n\r\nWhile the API interface is designed to be consumed by the LLM directly, it can be helpful\r\nto familiarize yourself with the search syntax. Searches generated by the LLM are\r\ninspectable, but generally collapsed in the UI. If you need to see the query, expand\r\nthe MCP collapsable.\r\n\r\n**Example Queries**\r\n\r\n| Query Example | Description |\r\n|--------------|-------------|\r\n| privacy | fulltext single keyword match |\r\n| \"privacy policy\" | fulltext match exact phrase |\r\n| boundar* | fulltext wildcard matches results starting with *boundar* (boundary, boundaries) |\r\n| id: 12345 | id field matches a specific resource by ID |\r\n| url: example.com/* | url field matches results with URL containing example.com/ |\r\n| type: html | type field matches for HTML pages only |\r\n| status: 200 | status field matches specific HTTP status codes (equal to 200) |\r\n| status: >=400 | status field matches specific HTTP status code (greater than or equal to 400) |\r\n| content: h1 | content field matches content (HTTP response body, often, but not always HTML) |\r\n| headers: text/xml | headers field matches HTTP response headers |\r\n| privacy AND policy | fulltext matches both |\r\n| privacy OR policy | fulltext matches either |\r\n| policy NOT privacy | fulltext matches policies not containing privacy |\r\n| (login OR signin) AND form | fulltext matches fullext login or signin with form |\r\n| type: html AND status: 200 | fulltext matches only HTML pages with HTTP success |\r\n\r\n## Field Search Definitions\r\n\r\nField search provides search precision, allowing you to specify which columns of the search index to filter.\r\nRather than searching the entire content, you can restrict your query to specific attributes like URLs,\r\nheaders, or content body. This approach improves efficiency when looking for\r\nspecific attributes or patterns within crawl data.\r\n\r\n| Field | Description |\r\n|-------|-------------|\r\n| id | database ID |\r\n| url | resource URL |\r\n| type | enumerated list of types (see types table) |\r\n| status | HTTP response codes |\r\n| headers | HTTP response headers |\r\n| content | HTTP body—HTML, CSS, JS, and more |\r\n\r\n## Content Types\r\n\r\nCrawls contain a multitude of resource types beyond HTML pages. The `type:` field search\r\nallows filtering by broad content type groups, particularly useful when filtering images without complex extension queries.\r\nFor example, you might search for `type: html NOT content: login`\r\nto find pages without \"login,\" or `type: img` to analyze image resources. The table below lists all\r\nsupported content types in the search system.\r\n\r\n| Type | Description |\r\n|------|-------------|\r\n| html | webpages |\r\n| iframe | iframes |\r\n| img | web images |\r\n| audio | web audio files |\r\n| video | web video files |\r\n| font | web font files |\r\n| style | CSS stylesheets |\r\n| script | JavaScript files |\r\n| rss | RSS syndication feeds |\r\n| text | plain text content |\r\n| pdf | PDF files |\r\n| doc | MS Word documents |\r\n| other | uncategorized |\r\n","English","en-US",{"_27":45,"_31":49,"_36":50},{"_29":46,"_31":47,"_33":48},"Acorta la distancia entre tu rastreo web y los modelos de lenguaje de IA. Con mcp-server-webcrawl, tu cliente de IA filtra y analiza el contenido web bajo tu supervisión o de forma autónoma, extrayendo información valiosa de tu contenido.\n\nAdmite rastreadores WARC, wget, InterroBot, Katana y SiteOne.","rastreo web del servidor mcp","# rastreo web del servidor mcp\n\nConecte su rastreo web con los modelos de lenguaje de IA mediante el Protocolo de Contexto de Modelo (MCP). Con **mcp-server-webcrawl** , su cliente de IA filtra y analiza el contenido web bajo su supervisión o de forma autónoma. El servidor incluye una interfaz de búsqueda de texto completo con compatibilidad booleana, filtrado de recursos por tipo, estado HTTP y más.\n\n**mcp-server-webcrawl** proporciona al LLM un menú completo con el que buscar contenido web y funciona con una variedad de rastreadores web:\n\n* [WARC](https://en.wikipedia.org/wiki/WARC_\$file_format\$)\n* [wget](https://en.wikipedia.org/wiki/Wget)\n* [InterroBot](https://interro.bot)\n* [Katana](https://github.com/projectdiscovery/katana)\n* [Sitio Uno](https://crawler.siteone.io)\n\n**mcp-server-webcrawl** es gratuito y de código abierto, y requiere Claude Desktop y Python (versión 3.10 o superior). Se instala desde la línea de comandos mediante pip install:\n\n```bash\npip install mcp-server-webcrawl\n```\n\n## Características\n\n* Compatible con Claude Desktop\n* Soporte de búsqueda de texto completo\n* Filtrar por tipo, estado y más\n* Compatible con múltiples rastreadores\n* Admite búsqueda avanzada/booleana y de campo\n\n## Configuración de MCP\n\nDesde el menú de Claude Desktop, vaya a Archivo > Configuración > Desarrollador. Haga clic en Editar configuración para localizar el archivo de configuración, ábralo en el editor que prefiera y modifique el ejemplo para que refleje la ruta de su datasrc.\n\nPuede configurar más conexiones mcp-server-webcrawl en mcpServers según sea necesario.\n\n```json\n{\r\n \"mcpServers\": {\r\n \"webcrawl\": {\r\n \"command\": [varies by OS/env, see below],\r\n \"args\": [varies by crawler, see below]\r\n }\r\n }\r\n}\n```\n\nPara la configuración paso a paso, consulte las [Guías de configuración](https://pragmar.github.io/mcp-server-webcrawl/guides.html) .\n\n### Windows frente a macOS\n\nWindows: comando establecido en \"mcp-server-webcrawl\"\n\nmacOS: comando establecido en ruta absoluta, es decir, el valor de $ que mcp-server-webcrawl\n\nPor ejemplo:\n\n```json\n\"command\": \"/Users/yourusername/.local/bin/mcp-server-webcrawl\",\n```\n\nPara encontrar la ruta absoluta del ejecutable `mcp-server-webcrawl` en su sistema:\n\n1. Abrir terminal\n2. Ejecutar `which mcp-server-webcrawl`\n3. Copie la ruta completa devuelta y úsela en su archivo de configuración\n\n### wget (usando --mirror)\n\nEl argumento datasrc debe establecerse en el directorio principal de los espejos.\n\n```\n\"args\": [\"--crawler\", \"wget\", \"--datasrc\", \"/path/to/wget/archives/\"]\n```\n\n### WARC\n\nEl argumento datasrc debe establecerse en el directorio principal de los archivos WARC.\n\n```\n\"args\": [\"--crawler\", \"warc\", \"--datasrc\", \"/path/to/warc/archives/\"]\n```\n\n### InterroBot\n\nEl argumento datasrc debe establecerse en la ruta directa a la base de datos.\n\n```\n\"args\": [\"--crawler\", \"interrobot\", \"--datasrc\", \"/path/to/Documents/InterroBot/interrobot.v2.db\"]\n```\n\n### Katana\n\nEl argumento datasrc debe establecerse en el directorio de los hosts raíz. Katana separa las páginas y los archivos multimedia por host. Se espera y es adecuado usar ./archives/example.com/example.com. Los sitios más complejos expanden los datos de rastreo a los directorios de los hosts de origen.\n\n```\n\"args\": [\"--crawler\", \"katana\", \"--datasrc\", \"/path/to/katana/archives/\"]\n```\n\n### SiteOne (utilizando *Generar sitio web sin conexión* )\n\nEl argumento datasrc debe establecerse en el directorio principal de los archivos; el archivado debe estar habilitado.\n\n```\n\"args\": [\"--crawler\", \"siteone\", \"--datasrc\", \"/path/to/SiteOne/archives/\"]\n```\n\n## Sintaxis de búsqueda booleana\n\nEl motor de consultas admite búsquedas específicas de campo ( `field: value` ) y expresiones booleanas complejas. El texto completo se admite como una combinación de los campos de URL, contenido y encabezados.\n\nAunque la interfaz API está diseñada para ser utilizada directamente por el LLM, puede ser útil familiarizarse con la sintaxis de búsqueda. Las búsquedas generadas por el LLM se pueden inspeccionar, pero generalmente se muestran en la interfaz de usuario. Si necesita ver la consulta, expanda el elemento plegable de MCP.\n\n**Consultas de ejemplo**\n\n| Ejemplo de consulta | Descripción |\n| ---------------------------------------------- | ------------------------------------------------------------------------------------------------------------- |\n| privacidad | coincidencia de palabra clave única de texto completo |\n| \"política de privacidad\" | texto completo coincide con la frase exacta |\n| límite\\* | El comodín de texto completo coincide con los resultados que comienzan con *boundar* (límite, límites) |\n| identificación: 12345 | El campo id coincide con un recurso específico por ID |\n| URL: ejemplo.com/\\* | El campo URL coincide con los resultados de la URL que contiene ejemplo.com/ |\n| tipo: html | El campo de tipo coincide solo con páginas HTML |\n| estado: 200 | El campo de estado coincide con códigos de estado HTTP específicos (igual a 200) |\n| estado: >=400 | El campo de estado coincide con un código de estado HTTP específico (mayor o igual a 400) |\n| contenido: h1 | El campo de contenido coincide con el contenido (cuerpo de la respuesta HTTP, a menudo, pero no siempre HTML) |\n| encabezados: texto/xml | El campo de encabezados coincide con los encabezados de respuesta HTTP |\n| privacidad Y política | el texto completo coincide con ambos |\n| política de privacidad | El texto completo coincide con cualquiera de los dos |\n| política NO privacidad | El texto completo coincide con políticas que no contienen información sobre privacidad. |\n| (iniciar sesión O iniciar sesión) Y formulario | texto completo coincide con el texto completo iniciar sesión o iniciar sesión con formulario |\n| tipo: html Y estado: 200 | El texto completo coincide solo con páginas HTML con éxito HTTP |\n\n## Definiciones de búsqueda de campos\n\nLa búsqueda por campos proporciona precisión, lo que permite especificar qué columnas del índice de búsqueda filtrar. En lugar de buscar en todo el contenido, se puede restringir la consulta a atributos específicos, como URL, encabezados o el cuerpo del contenido. Este enfoque mejora la eficiencia al buscar atributos o patrones específicos en los datos de rastreo.\n\n| Campo | Descripción |\n| -------------- | --------------------------------------------- |\n| identificación | ID de base de datos |\n| URL | URL del recurso |\n| tipo | lista enumerada de tipos (ver tabla de tipos) |\n| estado | Códigos de respuesta HTTP |\n| encabezados | Encabezados de respuesta HTTP |\n| contenido | Cuerpo HTTP: HTML, CSS, JS y más |\n\n## Tipos de contenido\n\nLos rastreos contienen una gran variedad de tipos de recursos además de las páginas HTML. La búsqueda por campo `type:` permite filtrar por grupos amplios de tipos de contenido, lo cual es especialmente útil al filtrar imágenes sin consultas de extensión complejas. Por ejemplo, puede buscar `type: html NOT content: login` para encontrar páginas sin \"login\" o `type: img` para analizar recursos de imágenes. La siguiente tabla muestra todos los tipos de contenido admitidos en el sistema de búsqueda.\n\n| Tipo | Descripción |\n| ------ | ------------------------------ |\n| html | páginas web |\n| iframe | iframes |\n| imagen | imágenes web |\n| audio | archivos de audio web |\n| video | archivos de vídeo web |\n| fuente | archivos de fuentes web |\n| estilo | Hojas de estilo CSS |\n| guion | Archivos JavaScript |\n| rss | Fuentes de sindicación RSS |\n| texto | contenido de texto sin formato |\n| pdf | Archivos PDF |\n| doc | Documentos de MS Word |\n| otro | Sin categorizar |","Spanish","es-ES",{"_27":52,"_31":55,"_36":56},{"_29":53,"_31":32,"_33":54},"ウェブクロールとAI言語モデル間のギャップを埋めます。mcp-server-webcrawlを使用すると、AIクライアントがユーザーの指示に従って、または自律的にウェブコンテンツをフィルタリング・分析し、ウェブコンテンツから洞察を抽出します。\n\nWARC、wget、InterroBot、Katana、および SiteOne クローラーをサポートします。","# mcp-server-webcrawl\n\nモデルコンテキストプロトコル（MCP）を使用して、WebクロールとAI言語モデル間のギャップを埋めます。mcp **-server-webcrawl**を使用すると、AIクライアントはユーザーの指示に従って、または自律的にWebコンテンツをフィルタリングおよび分析します。サーバーには、ブール値をサポートする全文検索インターフェース、タイプによるリソースフィルタリング、HTTPステータスなど、さまざまな機能が搭載されています。\n\n**mcp-server-webcrawl は、** LLM に Web コンテンツを検索するための完全なメニューを提供し、さまざまな Web クローラーと連携します。\n\n* [WARC](https://en.wikipedia.org/wiki/WARC_\$file_format\$)\n* [wget](https://en.wikipedia.org/wiki/Wget)\n* [インタロボット](https://interro.bot)\n* [刀](https://github.com/projectdiscovery/katana)\n* [サイトワン](https://crawler.siteone.io)\n\n**mcp-server-webcrawlは**無料のオープンソースで、Claude DesktopとPython（3.10以上）が必要です。コマンドラインからpip installでインストールできます。\n\n```bash\npip install mcp-server-webcrawl\n```\n\n## 特徴\n\n* クロードデスクトップ対応\n* 全文検索サポート\n* タイプ、ステータスなどでフィルタリング\n* マルチクローラー対応\n* 高度な検索/ブール検索およびフィールド検索をサポート\n\n## MCP構成\n\nClaude Desktopメニューから、「ファイル」>「設定」>「開発者」に移動します。「設定の編集」をクリックして設定ファイルを見つけ、任意のエディタで開き、サンプルを修正してdatasrcパスを反映します。\n\n必要に応じて、mcpServers の下にさらに mcp-server-webcrawl 接続を設定できます。\n\n```json\n{\r\n \"mcpServers\": {\r\n \"webcrawl\": {\r\n \"command\": [varies by OS/env, see below],\r\n \"args\": [varies by crawler, see below]\r\n }\r\n }\r\n}\n```\n\n詳細なセットアップ手順については、[セットアップガイド](https://pragmar.github.io/mcp-server-webcrawl/guides.html)を参照してください。\n\n### WindowsとmacOS\n\nWindows: コマンドを「mcp-server-webcrawl」に設定\n\nmacOS: コマンドは絶対パスに設定されています。つまり、$ which mcp-server-webcrawl の値です。\n\n例えば：\n\n```json\n\"command\": \"/Users/yourusername/.local/bin/mcp-server-webcrawl\",\n```\n\nシステム上の`mcp-server-webcrawl`実行可能ファイルの絶対パスを見つけるには:\n\n1. ターミナルを開く\n2. `which mcp-server-webcrawl`を実行する\n3. 返されたフルパスをコピーして設定ファイルで使用します\n\n### wget (--mirror を使用)\n\ndatasrc 引数はミラーの親ディレクトリに設定する必要があります。\n\n```\n\"args\": [\"--crawler\", \"wget\", \"--datasrc\", \"/path/to/wget/archives/\"]\n```\n\n### WARC\n\ndatasrc 引数は、WARC ファイルの親ディレクトリに設定する必要があります。\n\n```\n\"args\": [\"--crawler\", \"warc\", \"--datasrc\", \"/path/to/warc/archives/\"]\n```\n\n### インタロボット\n\ndatasrc 引数は、データベースへの直接パスに設定する必要があります。\n\n```\n\"args\": [\"--crawler\", \"interrobot\", \"--datasrc\", \"/path/to/Documents/InterroBot/interrobot.v2.db\"]\n```\n\n### 刀\n\ndatasrc 引数にはルートホストのディレクトリを設定する必要があります。Katana はページとメディアをホストごとに分離します。./archives/example.com/example.com が想定されており、適切です。より複雑なサイトでは、クロールデータがオリジンホストのディレクトリまで拡張されます。\n\n```\n\"args\": [\"--crawler\", \"katana\", \"--datasrc\", \"/path/to/katana/archives/\"]\n```\n\n### SiteOne (*オフライン Web サイトの生成*を使用)\n\ndatasrc 引数はアーカイブの親ディレクトリに設定する必要があり、アーカイブが有効になっている必要があります。\n\n```\n\"args\": [\"--crawler\", \"siteone\", \"--datasrc\", \"/path/to/SiteOne/archives/\"]\n```\n\n## ブール検索構文\n\nクエリエンジンは、フィールド指定（ `field: value` ）による検索と複雑なブール式をサポートしています。フルテキストは、URL、コンテンツ、ヘッダーフィールドの組み合わせとしてサポートされます。\n\nAPIインターフェースはLLMが直接使用するように設計されていますが、検索構文に慣れておくと役立ちます。LLMによって生成された検索クエリは確認可能ですが、通常はUIでは折りたたまれています。クエリを確認する必要がある場合は、MCPの折りたたみ可能な部分を展開してください。\n\n**クエリの例**\n\n| クエリの例 | 説明 |\n| ------------------------ | -------------------------------------------------------------- |\n| プライバシー | 全文単一キーワード一致 |\n| \"プライバシーポリシー\" | 全文一致の完全フレーズ |\n| 境界\\* | 全文ワイルドカードは、 *boundar* (boundary, boundary) で始まる結果と一致します。 |\n| id: 12345 | idフィールドはIDによって特定のリソースと一致します |\n| URL: example.com/\\* | url フィールドは、example.com/ を含む URL の結果と一致します。 |\n| タイプ: html | タイプフィールドはHTMLページのみに一致します |\n| ステータス: 200 | ステータスフィールドは特定の HTTP ステータスコードと一致します (200 に等しい) |\n| ステータス: >=400 | ステータスフィールドが特定の HTTP ステータスコード (400 以上) に一致する |\n| コンテンツ: h1 | コンテンツフィールドはコンテンツと一致します (HTTP 応答本文、多くの場合 HTML ですが、常にそうとは限りません) |\n| ヘッダー: text/xml | ヘッダーフィールドはHTTPレスポンスヘッダーと一致する |\n| プライバシーとポリシー | 全文は両方に一致します |\n| プライバシーまたはポリシー | 全文は次のいずれかに一致します |\n| ポリシーはプライバシーではない | 全文はプライバシーを含まないポリシーに一致します |\n| (ログインまたはサインイン) AND フォーム | fulltext は fulltext ログインまたはフォームによるサインインに一致します |\n| タイプ: html AND ステータス: 200 | 全文はHTTPが成功したHTMLページのみに一致します |\n\n## フィールド検索定義\n\nフィールド検索は検索精度を高め、検索インデックスのどの列をフィルタリングするかを指定できます。コンテンツ全体を検索するのではなく、URL、ヘッダー、コンテンツ本文などの特定の属性にクエリを絞り込むことができます。このアプローチにより、クロールデータ内の特定の属性やパターンを検索する際の効率が向上します。\n\n| 分野 | 説明 |\n| ----- | ------------------------- |\n| id | データベースID |\n| URL | リソースURL |\n| タイプ | 型の列挙リスト（型表を参照） |\n| 状態 | HTTPレスポンスコード |\n| ヘッダー | HTTPレスポンスヘッダー |\n| コンテンツ | HTTP ボディ - HTML、CSS、JS など |\n\n## コンテンツタイプ\n\nクロール`type:`フィールド検索では、幅広いコンテンツタイプグループによるフィルタリングが可能で、複雑な拡張子クエリなしで画像をフィルタリングする場合に特に便利です。例えば、「login」を含まないページを検索するには`type: html NOT content: login`と検索し、 `type: img`と検索して画像リソースを分析できます。以下の表は、検索システムでサポートされているすべてのコンテンツタイプを示しています。\n\n| タイプ | 説明 |\n| --------- | --------------- |\n| html | ウェブページ |\n| インラインフレーム | iframe |\n| 画像 | ウェブ画像 |\n| オーディオ | ウェブオーディオファイル |\n| ビデオ | ウェブビデオファイル |\n| フォント | ウェブフォントファイル |\n| スタイル | CSSスタイルシート |\n| スクリプト | JavaScriptファイル |\n| RSSフィード | RSSシンジケーションフィード |\n| 文章 | プレーンテキストコンテンツ |\n| pdf | PDFファイル |\n| ドキュメント | MS Word文書 |\n| 他の | 未分類 |","Japanese","ja-JP",{"_27":58,"_31":62,"_36":63},{"_29":59,"_31":60,"_33":61},"웹 크롤링과 AI 언어 모델 간의 격차를 해소하세요. mcp-server-webcrawl을 사용하면 AI 클라이언트가 사용자의 지시에 따라 또는 자동으로 웹 콘텐츠를 필터링하고 분석하여 웹 콘텐츠에서 인사이트를 추출합니다.\n\nWARC, wget, InterroBot, Katana 및 SiteOne 크롤러를 지원합니다.","mcp-서버-웹크롤","# mcp-서버-웹크롤\n\n모델 컨텍스트 프로토콜(MCP)을 사용하여 웹 크롤링과 AI 언어 모델 간의 격차를 해소하세요. **mcp-server-webcrawl을** 사용하면 AI 클라이언트가 사용자의 지시에 따라 또는 자동으로 웹 콘텐츠를 필터링하고 분석합니다. 이 서버에는 부울 연산을 지원하는 전체 텍스트 검색 인터페이스, 유형별 리소스 필터링, HTTP 상태 등이 포함되어 있습니다.\n\n**mcp-server-webcrawl은** LLM에 웹 콘텐츠를 검색할 수 있는 완전한 메뉴를 제공하며 다양한 웹 크롤러와 함께 작동합니다.\n\n* [WARC](https://en.wikipedia.org/wiki/WARC_\$file_format\$)\n* [wget](https://en.wikipedia.org/wiki/Wget)\n* [인터로봇](https://interro.bot)\n* [카타나](https://github.com/projectdiscovery/katana)\n* [사이트원](https://crawler.siteone.io)\n\n**mcp-server-webcrawl은** 무료 오픈 소스이며, Claude Desktop과 Python(3.10 이상)이 필요합니다. 명령줄에서 pip install을 통해 설치합니다.\n\n지엑스피1\n\n## 특징\n\n* Claude 데스크탑 준비 완료\n* 전체 텍스트 검색 지원\n* 유형, 상태 등으로 필터링\n* 멀티 크롤러 호환\n* 고급/부울 및 필드 검색 지원\n\n## MCP 구성\n\nClaude Desktop 메뉴에서 파일 > 설정 > 개발자로 이동합니다. '구성 편집'을 클릭하여 구성 파일을 찾은 후, 원하는 편집기에서 열고 datasrc 경로를 반영하도록 예제를 수정합니다.\n\n필요에 따라 mcpServers 아래에 더 많은 mcp-server-webcrawl 연결을 설정할 수 있습니다.\n\n```json\n{\r\n \"mcpServers\": {\r\n \"webcrawl\": {\r\n \"command\": [varies by OS/env, see below],\r\n \"args\": [varies by crawler, see below]\r\n }\r\n }\r\n}\n```\n\n단계별 설정에 대한 자세한 내용은 [설정 가이드를](https://pragmar.github.io/mcp-server-webcrawl/guides.html) 참조하세요.\n\n### 윈도우 대 macOS\n\nWindows: 명령이 \"mcp-server-webcrawl\"로 설정됨\n\nmacOS: 명령어를 절대 경로로 설정, 즉 $ which mcp-server-webcrawl의 값\n\n예를 들어:\n\n```json\n\"command\": \"/Users/yourusername/.local/bin/mcp-server-webcrawl\",\n```\n\n시스템에서 `mcp-server-webcrawl` 실행 파일의 절대 경로를 찾으려면:\n\n1. 오픈 터미널\n2. `which mcp-server-webcrawl` 실행합니다.\n3. 반환된 전체 경로를 복사하여 구성 파일에 사용하세요.\n\n### wget(--mirror 사용)\n\ndatasrc 인수는 미러의 부모 디렉토리로 설정해야 합니다.\n\n```\n\"args\": [\"--crawler\", \"wget\", \"--datasrc\", \"/path/to/wget/archives/\"]\n```\n\n### WARC\n\ndatasrc 인수는 WARC 파일의 상위 디렉토리로 설정해야 합니다.\n\n```\n\"args\": [\"--crawler\", \"warc\", \"--datasrc\", \"/path/to/warc/archives/\"]\n```\n\n### 인터로봇\n\ndatasrc 인수는 데이터베이스의 직접 경로로 설정해야 합니다.\n\n```\n\"args\": [\"--crawler\", \"interrobot\", \"--datasrc\", \"/path/to/Documents/InterroBot/interrobot.v2.db\"]\n```\n\n### 카타나\n\ndatasrc 인수는 루트 호스트 디렉터리로 설정해야 합니다. Katana는 호스트별로 페이지와 미디어를 구분하며, ./archives/example.com/example.com이 적절하고 예상됩니다. 더 복잡한 사이트는 크롤링 데이터를 원본 호스트 디렉터리로 확장합니다.\n\n```\n\"args\": [\"--crawler\", \"katana\", \"--datasrc\", \"/path/to/katana/archives/\"]\n```\n\n### SiteOne( *오프라인 웹사이트 생성* 사용)\n\ndatasrc 인수는 아카이브의 상위 디렉토리로 설정해야 하며, 보관이 활성화되어야 합니다.\n\n```\n\"args\": [\"--crawler\", \"siteone\", \"--datasrc\", \"/path/to/SiteOne/archives/\"]\n```\n\n## 부울 검색 구문\n\n쿼리 엔진은 필드별( `field: value` ) 검색과 복잡한 부울 표현식을 지원합니다. 전체 텍스트는 url, content, headers 필드의 조합으로 지원됩니다.\n\nAPI 인터페이스는 LLM에서 직접 사용하도록 설계되었지만, 검색 구문을 익히는 것이 도움이 될 수 있습니다. LLM에서 생성된 검색은 검사 가능하지만 일반적으로 UI에서 축소됩니다. 쿼리를 보려면 MCP 축소 가능을 확장하세요.\n\n**예제 쿼리**\n\n| 쿼리 예제 | 설명 |\n| -------------------- | ----------------------------------------------------------- |\n| 은둔 | 전체 텍스트 단일 키워드 일치 |\n| \"개인정보처리방침\" | 전체 텍스트 일치 정확한 구문 |\n| 경계\\* | 전체 텍스트 와일드카드는 *boundar* (경계, 경계)로 시작하는 결과와 일치합니다. |\n| 아이디: 12345 | id 필드는 ID로 특정 리소스와 일치합니다. |\n| url: example.com/\\* | url 필드는 example.com/을 포함하는 URL과 결과를 일치시킵니다. |\n| 유형: html | 유형 필드는 HTML 페이지에만 일치합니다. |\n| 상태: 200 | 상태 필드는 특정 HTTP 상태 코드(200과 동일)와 일치합니다. |\n| 상태: >=400 | 상태 필드는 특정 HTTP 상태 코드(400 이상)와 일치합니다. |\n| 콘텐츠: h1 | content 필드는 콘텐츠(HTTP 응답 본문, 종종 HTML이지만 항상 그런 것은 아님)와 일치합니다. |\n| 헤더: text/xml | 헤더 필드는 HTTP 응답 헤더와 일치합니다. |\n| 개인정보 보호정책 및 정책 | 전체 텍스트는 둘 다 일치합니다 |\n| 개인정보 보호정책 | 전체 텍스트는 다음 중 하나와 일치합니다. |\n| 정책이 아닌 개인정보 보호 | 전체 텍스트는 개인 정보 보호 정책을 포함하지 않습니다. |\n| (로그인 또는 로그인) 및 양식 | 전체 텍스트가 전체 텍스트 로그인 또는 양식을 사용한 로그인과 일치합니다. |\n| 유형: html AND 상태: 200 | 전체 텍스트는 HTTP 성공이 있는 HTML 페이지와만 일치합니다. |\n\n## 필드 검색 정의\n\n필드 검색은 검색 정확도를 높여 검색 인덱스에서 필터링할 열을 지정할 수 있도록 합니다. 전체 콘텐츠를 검색하는 대신 URL, 헤더, 콘텐츠 본문과 같은 특정 속성으로 쿼리를 제한할 수 있습니다. 이 방식은 크롤링 데이터에서 특정 속성이나 패턴을 찾을 때 효율성을 향상시킵니다.\n\n| 필드 | 설명 |\n| --- | ------------------------- |\n| ID | 데이터베이스 ID |\n| URL | 리소스 URL |\n| 유형 | 유형의 열거된 목록(유형 표 참조) |\n| 상태 | HTTP 응답 코드 |\n| 헤더 | HTTP 응답 헤더 |\n| 콘텐츠 | HTTP 본문 - HTML, CSS, JS 등 |\n\n## 콘텐츠 유형\n\n크롤링에는 HTML 페이지 외에도 다양한 리소스 유형이 포함됩니다. `type:` 필드 검색을 사용하면 광범위한 콘텐츠 유형 그룹으로 필터링할 수 있으며, 특히 복잡한 확장자 쿼리 없이 이미지를 필터링할 때 유용합니다. 예를 들어, \"login\"이 없는 페이지를 찾으려면 `type: html NOT content: login` 검색하고, 이미지 리소스를 분석하려면 `type: img` 검색할 수 있습니다. 아래 표는 검색 시스템에서 지원되는 모든 콘텐츠 유형을 나열합니다.\n\n| 유형 | 설명 |\n| ----- | ------------- |\n| HTML | 웹 페이지 |\n| 아이프레임 | 아이프레임 |\n| 이미지 | 웹 이미지 |\n| 오디오 | 웹 오디오 파일 |\n| 동영상 | 웹 비디오 파일 |\n| 세례반 | 웹 글꼴 파일 |\n| 스타일 | CSS 스타일시트 |\n| 스크립트 | JavaScript 파일 |\n| RSS | RSS 신디케이션 피드 |\n| 텍스트 | 일반 텍스트 콘텐츠 |\n| PDF | PDF 파일 |\n| 의사 | MS Word 문서 |\n| 다른 | 분류되지 않음 |","Korean","ko-KR",{"_27":65,"_31":69,"_36":70},{"_29":66,"_31":67,"_33":68},"Устраните разрыв между вашим веб-сканированием и языковыми моделями ИИ. С mcp-server-webcrawl ваш клиент ИИ фильтрует и анализирует веб-контент под вашим руководством или автономно, извлекая информацию из вашего веб-контента.\n\nПоддерживает сканеры WARC, wget, InterroBot, Katana и SiteOne.","mcp-сервер-webcrawl","# mcp-сервер-webcrawl\n\nУстраните разрыв между вашим веб-сканированием и языковыми моделями ИИ с помощью Model Context Protocol (MCP). С **mcp-server-webcrawl** ваш клиент ИИ фильтрует и анализирует веб-контент под вашим руководством или автономно. Сервер включает интерфейс полнотекстового поиска с поддержкой булевых значений, фильтрацию ресурсов по типу, статусу HTTP и т. д.\n\n**mcp-server-webcrawl** предоставляет LLM полное меню для поиска вашего веб-контента и работает с различными веб-сканерами:\n\n* [ВАРК](https://en.wikipedia.org/wiki/WARC_\$file_format\$)\n* [wget](https://en.wikipedia.org/wiki/Wget)\n* [ИнтерроБот](https://interro.bot)\n* [Катана](https://github.com/projectdiscovery/katana)\n* [СайтOne](https://crawler.siteone.io)\n\n**mcp-server-webcrawl** — бесплатный и открытый исходный код, требует Claude Desktop и Python (>=3.10). Он устанавливается в командной строке с помощью pip install:\n\n```bash\npip install mcp-server-webcrawl\n```\n\n## Функции\n\n* Готов к использованию на рабочем столе Клода\n* Поддержка полнотекстового поиска\n* Фильтр по типу, статусу и т. д.\n* Совместимость с несколькими краулерами\n* Поддерживает расширенный/логический поиск и поиск по полям\n\n## Конфигурация МКП\n\nИз меню Claude Desktop перейдите в File > Settings > Developer. Нажмите Edit Config, чтобы найти файл конфигурации, откройте его в редакторе по вашему выбору и измените пример, чтобы отразить ваш путь datasrc.\n\nПри необходимости вы можете настроить больше подключений mcp-server-webcrawl в разделе mcpServers.\n\n```json\n{\r\n \"mcpServers\": {\r\n \"webcrawl\": {\r\n \"command\": [varies by OS/env, see below],\r\n \"args\": [varies by crawler, see below]\r\n }\r\n }\r\n}\n```\n\nПошаговые инструкции по настройке см. в [руководствах по настройке](https://pragmar.github.io/mcp-server-webcrawl/guides.html) .\n\n### Windows против macOS\n\nWindows: команда установлена на \"mcp-server-webcrawl\"\n\nmacOS: команда установлена на абсолютный путь, т.е. значение $, которое mcp-server-webcrawl\n\nНапример:\n\n```json\n\"command\": \"/Users/yourusername/.local/bin/mcp-server-webcrawl\",\n```\n\nЧтобы найти абсолютный путь к исполняемому файлу `mcp-server-webcrawl` в вашей системе:\n\n1. Открытый терминал\n2. Запустите `which mcp-server-webcrawl`\n3. Скопируйте полный возвращенный путь и используйте его в вашем конфигурационном файле.\n\n### wget (используя --mirror)\n\nАргумент datasrc должен быть установлен на родительский каталог зеркал.\n\n```\n\"args\": [\"--crawler\", \"wget\", \"--datasrc\", \"/path/to/wget/archives/\"]\n```\n\n### ВАРК\n\nАргумент datasrc должен указывать на родительский каталог файлов WARC.\n\n```\n\"args\": [\"--crawler\", \"warc\", \"--datasrc\", \"/path/to/warc/archives/\"]\n```\n\n### ИнтерроБот\n\nАргумент datasrc должен указывать прямой путь к базе данных.\n\n```\n\"args\": [\"--crawler\", \"interrobot\", \"--datasrc\", \"/path/to/Documents/InterroBot/interrobot.v2.db\"]\n```\n\n### Катана\n\nАргумент datasrc должен быть установлен в каталог корневых хостов. Katana разделяет страницы и медиа по хостам, ./archives/example.com/example.com ожидается и подходит. Более сложные сайты расширяют данные сканирования в исходные каталоги хостов.\n\n```\n\"args\": [\"--crawler\", \"katana\", \"--datasrc\", \"/path/to/katana/archives/\"]\n```\n\n### SiteOne (с использованием функции *«Создать офлайн-сайт»* )\n\nАргумент datasrc должен быть установлен на родительский каталог архивов, архивирование должно быть включено.\n\n```\n\"args\": [\"--crawler\", \"siteone\", \"--datasrc\", \"/path/to/SiteOne/archives/\"]\n```\n\n## Синтаксис поиска по булевому типу\n\nМеханизм запросов поддерживает поиск по полям ( `field: value` ) и сложные логические выражения. Полный текст поддерживается как комбинация полей url, content и headers.\n\nХотя интерфейс API предназначен для непосредственного использования LLM, может быть полезно ознакомиться с синтаксисом поиска. Поисковые запросы, сгенерированные LLM, можно просматривать, но обычно они сворачиваются в пользовательском интерфейсе. Если вам нужно увидеть запрос, разверните MCP collapable.\n\n**Примеры запросов**\n\n| Пример запроса | Описание |\n| ------------------------------- | ---------------------------------------------------------------------------------------------------------- |\n| конфиденциальность | полнотекстовое совпадение по одному ключевому слову |\n| \"политика конфиденциальности\" | полное совпадение точной фразы |\n| граница\\* | полнотекстовый подстановочный знак соответствует результатам, начинающимся с *borderar* (граница, границы) |\n| идентификатор: 12345 | Поле идентификатора соответствует определенному ресурсу по идентификатору |\n| URL-адрес: example.com/\\* | поле url соответствует результатам с URL, содержащим example.com/ |\n| тип: html | поле типа соответствует только для HTML-страниц |\n| статус: 200 | поле статуса соответствует определенным кодам статуса HTTP (равным 200) |\n| статус: >=400 | поле статуса соответствует определенному коду статуса HTTP (больше или равно 400) |\n| содержание: h1 | поле содержимого соответствует содержимому (тело ответа HTTP, часто, но не всегда, HTML) |\n| заголовки: текст/xml | поле заголовков соответствует заголовкам HTTP-ответа |\n| Политика конфиденциальности И | полный текст соответствует обоим |\n| политика конфиденциальности ИЛИ | полный текст соответствует либо |\n| политика НЕ конфиденциальность | полный текст соответствует политикам, не содержащим конфиденциальности |\n| (логин ИЛИ вход) И форма | полный текст соответствует полному тексту входа или входа с помощью формы |\n| тип: html И статус: 200 | полный текст соответствует только HTML-страницам с успешным HTTP-запросом |\n\n## Определения поиска по полю\n\nПоиск по полю обеспечивает точность поиска, позволяя вам указать, какие столбцы поискового индекса фильтровать. Вместо поиска по всему контенту вы можете ограничить свой запрос определенными атрибутами, такими как URL-адреса, заголовки или тело контента. Такой подход повышает эффективность при поиске определенных атрибутов или шаблонов в данных сканирования.\n\n| Поле | Описание |\n| ------------- | ------------------------------------------------ |\n| идентификатор | идентификатор базы данных |\n| URL-адрес | URL-адрес ресурса |\n| тип | пронумерованный список типов (см. таблицу типов) |\n| статус | Коды ответов HTTP |\n| заголовки | Заголовки HTTP-ответа |\n| содержание | Тело HTTP — HTML, CSS, JS и т. д. |\n\n## Типы контента\n\nСканирование содержит множество типов ресурсов помимо HTML-страниц. Поиск по полю `type:` позволяет фильтровать по широким группам типов контента, что особенно полезно при фильтрации изображений без сложных запросов на расширение. Например, вы можете выполнить поиск по `type: html NOT content: login` , чтобы найти страницы без «login», или `type: img` чтобы проанализировать ресурсы изображений. В таблице ниже перечислены все поддерживаемые типы контента в поисковой системе.\n\n| Тип | Описание |\n| -------- | ------------------------- |\n| html | веб-страницы |\n| фрейм | фреймы |\n| имг | веб-изображения |\n| аудио | веб-аудиофайлы |\n| видео | веб-видеофайлы |\n| шрифт | файлы веб-шрифтов |\n| стиль | Таблицы стилей CSS |\n| сценарий | JavaScript-файлы |\n| rss | RSS-каналы синдикации |\n| текст | простой текстовый контент |\n| pdf | PDF-файлы |\n| док | Документы MS Word |\n| другой | без рубрики |","Russian","ru-RU",{"_27":72,"_31":76,"_36":77},{"_29":73,"_31":74,"_33":75},"弥合您的网页爬虫与 AI 语言模型之间的差距。借助 mcp-server-webcrawl，您的 AI 客户端可以根据您的指示或自主地过滤和分析网页内容，并从中提取洞察。\n\n支持 WARC、wget、InterroBot、Katana 和 SiteOne 爬虫。","mcp-服务器-网络爬虫","# mcp-服务器-网络爬虫\n\n使用模型上下文协议 (MCP) 弥合您的网络爬虫与 AI 语言模型之间的差距。借助**mcp-server-webcrawl** ，您的 AI 客户端可以根据您的指示或自主地过滤和分析网络内容。该服务器��含一个支持布尔值的全文搜索界面、按类型过滤资源、HTTP 状态等功能。\n\n**mcp-server-webcrawl**为 LLM 提供了一个完整的菜单来搜索您的网络内容，并可与各种网络爬虫配合使用：\n\n* [战争研究理事会](https://en.wikipedia.org/wiki/WARC_\$file_format\$)\n* [wget](https://en.wikipedia.org/wiki/Wget)\n* [InterroBot](https://interro.bot)\n* [武士刀](https://github.com/projectdiscovery/katana)\n* [SiteOne](https://crawler.siteone.io)\n\n**mcp-server-webcrawl**是免费开源的，需要 Claude Desktop 和 Python (>=3.10)。它可以通过命令行使用 pip install 进行安装：\n\n```bash\npip install mcp-server-webcrawl\n```\n\n## 特征\n\n* 克劳德桌面准备就绪\n* 全文搜索支持\n* 按类型、状态等进行过滤\n* 兼容多种爬虫\n* 支持高级/布尔和字段搜索\n\n## MCP 配置\n\n在 Claude 桌面菜单中，前往“文件”>“设置”>“开发者”。单击“编辑配置”找到配置文件，在您选择的编辑器中打开，并修改示例以反映您的 datasrc 路径。\n\n您可以根据需要在 mcpServers 下设置更多的 mcp-server-webcrawl 连接。\n\n```json\n{\r\n \"mcpServers\": {\r\n \"webcrawl\": {\r\n \"command\": [varies by OS/env, see below],\r\n \"args\": [varies by crawler, see below]\r\n }\r\n }\r\n}\n```\n\n有关分步设置，请参阅[设置指南](https://pragmar.github.io/mcp-server-webcrawl/guides.html)。\n\n### Windows 与 macOS\n\nWindows：命令设置为“mcp-server-webcrawl”\n\nmacOS：命令设置为绝对路径，即 $which mcp-server-webcrawl 的值\n\n例如：\n\n```json\n\"command\": \"/Users/yourusername/.local/bin/mcp-server-webcrawl\",\n```\n\n要查找系统上`mcp-server-webcrawl`可执行文件的绝对路径：\n\n1. 打开终端\n2. 运行`which mcp-server-webcrawl`\n3. 复制返回的完整路径并在配置文件中使用它\n\n### wget（使用--mirror）\n\ndatasrc 参数应该设置为镜像的父目录。\n\n```\n\"args\": [\"--crawler\", \"wget\", \"--datasrc\", \"/path/to/wget/archives/\"]\n```\n\n### 战争研究理事会\n\ndatasrc 参数应设置为 WARC 文件的父目录。\n\n```\n\"args\": [\"--crawler\", \"warc\", \"--datasrc\", \"/path/to/warc/archives/\"]\n```\n\n### InterroBot\n\ndatasrc 参数应设置为数据库的直接路径。\n\n```\n\"args\": [\"--crawler\", \"interrobot\", \"--datasrc\", \"/path/to/Documents/InterroBot/interrobot.v2.db\"]\n```\n\n### 武士刀\n\ndatasrc 参数应设置为根主机的目录。Katana 按主机区分页面和媒体，因此 ./archives/example.com/example.com 是合理的，也是合适的。更复杂的网站会将抓取的数据扩展到原始主机目录中。\n\n```\n\"args\": [\"--crawler\", \"katana\", \"--datasrc\", \"/path/to/katana/archives/\"]\n```\n\n### SiteOne（使用*生成离线网站*）\n\ndatasrc 参数应设置为档案的父目录，并且必须启用存档。\n\n```\n\"args\": [\"--crawler\", \"siteone\", \"--datasrc\", \"/path/to/SiteOne/archives/\"]\n```\n\n## 布尔搜索语法\n\n查询引擎支持特定字段 ( `field: value` ) 搜索和复杂的布尔表达式。支持将 url、content 和 headers 字段组合起来的全文搜索。\n\n虽然 API 接口设计为供 LLM 直接使用，但熟悉搜索语法会很有帮助。LLM 生成的搜索是可检查的，但通常在 UI 中折叠。如果您需要查看查询，请展开 MCP 折叠部分。\n\n**示例查询**\n\n| 查询示例 | 描述 |\n| ----------------- | -------------------------------------------- |\n| 隐私 | 全文单关键字匹配 |\n| “隐私政策” | 全文匹配精确短语 |\n| 边界\\* | 全文通配符匹配以*边界*（边界，边界）开头的结果 |\n| 编号：12345 | id 字段通过 ID 匹配特定资源 |\n| 网址：example.com/\\* | url 字段匹配包含 example.com/ 的 URL 的结果 |\n| 类型：html | 仅适用于 HTML 页面的类型字段匹配 |\n| 状态：200 | 状态字段匹配特定的 HTTP 状态代码（等于 200） |\n| 状态：>=400 | 状态字段匹配特定的 HTTP 状态代码（大于或等于 400） |\n| 内容：h1 | 内容字段与内容匹配（HTTP 响应主体，通常但不总是 HTML） |\n| 标题：文本/xml | headers 字段匹配 HTTP 响应头 |\n| 隐私和政策 | 全文匹配 |\n| 隐私政策或政策 | 全文匹配 |\n| 政策而非隐私 | 全文匹配不包含隐私的政策 |\n| （登录或登录）和表格 | fulltext 匹配 fullext login 或 signin with form |\n| 类型：html 和状态：200 | fulltext 仅匹配 HTTP 成功的 HTML 页面 |\n\n## 字段搜索定义\n\n字段搜索提供精准的搜索，让您可以指定要过滤的搜索索引列。您可以将查询限制为特定属性（例如网址、标头或内容正文），而无需搜索所有内容。这种方法在查找爬取数据中的特定属性或模式时，可以提高效率。\n\n| 场地 | 描述 |\n| -- | ---------------------- |\n| ID | 数据库 ID |\n| 网址 | 资源 URL |\n| 类型 | 枚举类型列表（参见类型表） |\n| 地位 | HTTP 响应代码 |\n| 标题 | HTTP 响应标头 |\n| 内容 | HTTP 主体——HTML、CSS、JS 等 |\n\n## 内容类型\n\n抓取的内容不仅包含 HTML 页面，还包含多种资源类型。type `type:` field 搜索功能允许按广泛的内容类型组进行筛选，这在筛选不包含复杂扩展查询的图片时尤其有用。例如，您可以搜索`type: html NOT content: login`来查找不包含“login”的页面，或者搜索`type: img`来分析图片资源。下表列出了搜索系统支持的所有内容类型。\n\n| 类型 | 描述 |\n| ---- | ------------- |\n| html | 网页 |\n| 内嵌框架 | iframe |\n| 图片 | 网络图片 |\n| 声音的 | 网络音频文件 |\n| 视频 | 网络视频文件 |\n| 字体 | 网络字体文件 |\n| 风格 | CSS 样式表 |\n| 脚本 | JavaScript 文件 |\n| RSS | RSS 联合提要 |\n| 文本 | 纯文本内容 |\n| PDF | PDF 文件 |\n| 文档 | MS Word 文档 |\n| 其他 | 未分类 |","Chinese","zh-CN","githubUser","locale",{"_81":82,"_13":83,"_93":94,"_95":40,"_16":96,"_97":98,"_31":32,"_117":118,"_125":-5,"_126":-5,"_127":128,"_174":175,"_180":-5,"_105":181,"_182":177,"_108":183,"_184":185},"addedAt","2025-04-04T18:45:10.368783Z",[84,85,86,87,88,89,89,90,90,91,90,92],"category:rag-systems","category:search","category:web-scraping","environment:local","hosting:local-only","language:python","license_grade:f","language:html","author:claimed","descriptionMarkdown","Advanced search and retrieval for web crawler data. With mcp-server-webcrawl, your AI client filters and analyzes web content under your direction or autonomously. The server includes a full-text search interface with boolean support, and resource filtering by type, HTTP status, and more.\n\nSupports WARC, wget, InterroBot, Katana, and SiteOne crawlers.","descriptionPlainText",4952,"integrations",[99,110],{"_100":101,"_29":107,"_108":109},"brand",{"_102":103,"_31":104,"_105":106},"logoSvgPath","M12 0C5.373 0 0 5.373 0 12s5.373 12 12 12 12-5.373 12-12S18.627 0 12 0zm.016 22.762H12c-5.95-.009-10.765-4.84-10.756-10.789.009-5.95 4.839-10.766 10.789-10.757 5.943.009 10.756 4.829 10.756 10.773 0 5.95-4.823 10.773-10.773 10.773zm9.475-10.857a5.562 5.562 0 0 1-9.142 3.214 6.331 6.331 0 0 0 3.251-2.062l.104.169c.339.584.568 1.226.676 1.893a6.281 6.281 0 0 0-.349-2.656 6.328 6.328 0 0 0-8.94-8.63 5.563 5.563 0 0 1 7.418 6.256 6.334 6.334 0 0 0-3.425-1.762l.093-.175a5.53 5.53 0 0 1 1.304-1.533 6.31 6.31 0 0 0-2.122 1.636 6.327 6.327 0 0 0-3.016 12.044 5.564 5.564 0 0 1 1.713-9.562 6.33 6.33 0 0 0 .185 3.818h-.186a5.535 5.535 0 0 1-1.98-.36 6.295 6.295 0 0 0 2.471 1.025 6.328 6.328 0 0 0 8.513 2.758 6.319 6.319 0 0 0 3.432-6.073zm-11.018-1.443a5.582 5.582 0 0 1 3.6.998 5.584 5.584 0 0 1-2.667 2.618 5.57 5.57 0 0 1-.933-3.616z","Katana","slug","katana","Enables browsing and analyzing web content crawled by Katana, with support for accessing and searching through cached text files.","uid","q4zcvgwivu",{"_100":111,"_29":115,"_108":116},{"_102":112,"_31":113,"_105":114},"M14.25.18l.9.2.73.26.59.3.45.32.34.34.25.34.16.33.1.3.04.26.02.2-.01.13V8.5l-.05.63-.13.55-.21.46-.26.38-.3.31-.33.25-.35.19-.35.14-.33.1-.3.07-.26.04-.21.02H8.77l-.69.05-.59.14-.5.22-.41.27-.33.32-.27.35-.2.36-.15.37-.1.35-.07.32-.04.27-.02.21v3.06H3.17l-.21-.03-.28-.07-.32-.12-.35-.18-.36-.26-.36-.36-.35-.46-.32-.59-.28-.73-.21-.88-.14-1.05-.05-1.23.06-1.22.16-1.04.24-.87.32-.71.36-.57.4-.44.42-.33.42-.24.4-.16.36-.1.32-.05.24-.01h.16l.06.01h8.16v-.83H6.18l-.01-2.75-.02-.37.05-.34.11-.31.17-.28.25-.26.31-.23.38-.2.44-.18.51-.15.58-.12.64-.1.71-.06.77-.04.84-.02 1.27.05zm-6.3 1.98l-.23.33-.08.41.08.41.23.34.33.22.41.09.41-.09.33-.22.23-.34.08-.41-.08-.41-.23-.33-.33-.22-.41-.09-.41.09zm13.09 3.95l.28.06.32.12.35.18.36.27.36.35.35.47.32.59.28.73.21.88.14 1.04.05 1.23-.06 1.23-.16 1.04-.24.86-.32.71-.36.57-.4.45-.42.33-.42.24-.4.16-.36.09-.32.05-.24.02-.16-.01h-8.22v.82h5.84l.01 2.76.02.36-.05.34-.11.31-.17.29-.25.25-.31.24-.38.2-.44.17-.51.15-.58.13-.64.09-.71.07-.77.04-.84.01-1.27-.04-1.07-.14-.9-.2-.73-.25-.59-.3-.45-.33-.34-.34-.25-.34-.16-.33-.1-.3-.04-.25-.02-.2.01-.13v-5.34l.05-.64.13-.54.21-.46.26-.38.3-.32.33-.24.35-.2.35-.14.33-.1.3-.06.26-.04.21-.02.13-.01h5.84l.69-.05.59-.14.5-.21.41-.28.33-.32.27-.35.2-.36.15-.36.1-.35.07-.32.04-.28.02-.21V6.07h2.09l.14.01zm-6.47 14.25l-.23.33-.08.41.08.41.23.33.33.23.41.08.41-.08.33-.23.23-.33.08-.41-.08-.41-.23-.33-.33-.23-.41-.08-.41.08z","Python","python","Requires Python 3.10 or newer to run, with installation via pip package manager.","p80xcznlh1","namespace",{"_119":120,"_105":124},"owner",{"_121":122},"githubAccount",{"_123":124},"login","pragmar","readmeMarkdown","redditPostExternalId","repository",{"_129":130,"_144":145,"_149":150,"_167":-5,"_168":169,"_170":-5,"_171":172},"argumentsJsonSchema",{"_131":132,"_141":142,"_136":143},"properties",{"_133":134,"_138":139},"crawler",{"_29":135,"_136":137},"The type of crawler to use (wget, warc, interrobot, katana, siteone)","type","string","datasrc",{"_29":140,"_136":137},"The path to the data source, varies by crawler type","required",[133,138],"object","githubProject",{"_33":146,"_147":148},"

\r\n $\"MCP$ \r\n

\r\n\r\n

\r\n Website |\r\n GitHub |\r\n Docs |\r\n PyPi\r\n

\r\n\r\n# mcp-server-webcrawl\r\n\r\nAdvanced search and retrieval for web crawler data. With **mcp-server-webcrawl**, your AI client filters and analyzes web content under your direction or autonomously. The server includes a fulltext search interface with boolean support, and resource filtering by type, HTTP status, and more.\r\n\r\n**mcp-server-webcrawl** provides the LLM a complete menu with which to search, and works with a variety of web crawlers:\r\n\r\n| Crawler/Format | Description | Platforms | Setup Guide |\r\n|---|---|---|---|\r\n| [**ArchiveBox**][1] | Web archiving tool | macOS/Linux | [Setup Guide][8] |\r\n| [**HTTrack**][2] | GUI mirroring tool | macOS/Windows/Linux | [Setup Guide][9] |\r\n| [**InterroBot**][3] | GUI crawler and analyzer | macOS/Windows/Linux | [Setup Guide][10] |\r\n| [**Katana**][4] | CLI security-focused crawler | macOS/Windows/Linux | [Setup Guide][11] |\r\n| [**SiteOne**][5] | GUI crawler and analyzer | macOS/Windows/Linux | [Setup Guide][12] |\r\n| [**WARC**][6] | Standard web archive format | varies by client | [Setup Guide][13] |\r\n| [**wget**][7] | CLI website mirroring tool | macOS/Linux | [Setup Guide][14] |\r\n\r\n[1]: https://archivebox.io\r\n[2]: https://github.com/xroche/httrack\r\n[3]: https://interro.bot\r\n[4]: https://github.com/projectdiscovery/katana\r\n[5]: https://crawler.siteone.io\r\n[6]: https://en.wikipedia.org/wiki/WARC_(file_format)\r\n[7]: https://en.wikipedia.org/wiki/Wget\r\n[8]: https://pragmar.github.io/mcp-server-webcrawl/guides/archivebox.html\r\n[9]: https://pragmar.github.io/mcp-server-webcrawl/guides/httrack.html\r\n[10]: https://pragmar.github.io/mcp-server-webcrawl/guides/interrobot.html\r\n[11]: https://pragmar.github.io/mcp-server-webcrawl/guides/katana.html\r\n[12]: https://pragmar.github.io/mcp-server-webcrawl/guides/siteone.html\r\n[13]: https://pragmar.github.io/mcp-server-webcrawl/guides/warc.html\r\n[14]: https://pragmar.github.io/mcp-server-webcrawl/guides/wget.html\r\n\r\n**mcp-server-webcrawl** is free and open source, and requires Claude Desktop and Python (>=3.10). It is installed on the command line, via pip install:\r\n\r\n```bash\r\npip install mcp-server-webcrawl\r\n```\r\n\r\nFor step-by-step MCP server setup, refer to the [Setup Guides](https://pragmar.github.io/mcp-server-webcrawl/guides.html).\r\n\r\n## Features\r\n\r\n* Claude Desktop ready\r\n* Multi-crawler compatible\r\n* Filter by type, status, and more\r\n* Boolean search support\r\n* Support for Markdown and snippets\r\n* Roll your own website knowledgebase\r\n\r\n## Prompt Routines\r\n\r\n**mcp-server-webcrawl** provides the toolkit necessary to search web crawl data freestyle, figuring it out as you go, reacting to each query. This is what it was designed for.\r\n\r\nIt is also capable of running routines (as prompts). You can write these yourself, or use the ones provided. These prompts are **copy and paste**, and used as raw Markdown. They are enabled by the advanced search provided to the LLM; queries and logic can be embedded in a procedural set of instructions, or even an input loop as is the case with Gopher Service.\r\n\r\n| Prompt | Download | Category | Description |\r\n|--------|----------|----------|-------------|\r\n|🔍 **SEO Audit** | [`auditseo.md`](https://raw.githubusercontent.com/pragmar/mcp-server-webcrawl/master/prompts/auditseo.md) | audit | Technical SEO (search engine optimization) analysis. Covers the basics, with options to dive deeper. |\r\n|🔗 **404 Audit** | [`audit404.md`](https://raw.githubusercontent.com/pragmar/mcp-server-webcrawl/master/prompts/audit404.md) | audit | Broken link detection and pattern analysis. Not only finds issues, but suggests fixes. |\r\n|⚡ **Performance Audit** | [`auditperf.md`](https://raw.githubusercontent.com/pragmar/mcp-server-webcrawl/master/prompts/auditperf.md) | audit | Website speed and optimization analysis. Real talk. |\r\n|📁 **File Audit** | [`auditfiles.md`](https://raw.githubusercontent.com/pragmar/mcp-server-webcrawl/master/prompts/auditfiles.md) | audit | File organization and asset analysis. Discover the composition of your website. |\r\n|🌐 **Gopher Interface** | [`gopher.md`](https://raw.githubusercontent.com/pragmar/mcp-server-webcrawl/master/prompts/gopher.md) | interface | An old-fashioned search interface inspired by the Gopher clients of yesteryear. |\r\n|⚙️ **Search Test** | [`testsearch.md`](https://raw.githubusercontent.com/pragmar/mcp-server-webcrawl/master/prompts/testsearch.md) | self-test | A battery of tests to check for Boolean logical inconsistencies in the search query parser and subsequent FTS5 conversion. |\r\n\r\nIf you want to shortcut the site selection (one less query), paste the markdown and in the same request, type \"run pasted for [site name or URL].\" It will figure it out. When pasted without additional context, you should be prompted to select from a list of crawled sites.\r\n\r\n## Boolean Search Syntax\r\n\r\nThe query engine supports field-specific (`field: value`) searches and complex boolean expressions. Fulltext is supported as a combination of the url, content, and headers fields.\r\n\r\nWhile the API interface is designed to be consumed by the LLM directly, it can be helpful to familiarize yourself with the search syntax. Searches generated by the LLM are inspectable, but generally collapsed in the UI. If you need to see the query, expand the MCP collapsible.\r\n\r\n**Example Queries**\r\n\r\n| Query Example | Description |\r\n|--------------|-------------|\r\n| privacy | fulltext single keyword match |\r\n| \"privacy policy\" | fulltext match exact phrase |\r\n| boundar* | fulltext wildcard matches results starting with *boundar* (boundary, boundaries) |\r\n| id: 12345 | id field matches a specific resource by ID |\r\n| url: example.com/somedir | url field matches results with URL containing example.com/somedir |\r\n| type: html | type field matches for HTML pages only |\r\n| status: 200 | status field matches specific HTTP status codes (equal to 200) |\r\n| status: >=400 | status field matches specific HTTP status code (greater than or equal to 400) |\r\n| content: h1 | content field matches content (HTTP response body, often, but not always HTML) |\r\n| headers: text/xml | headers field matches HTTP response headers |\r\n| privacy AND policy | fulltext matches both |\r\n| privacy OR policy | fulltext matches either |\r\n| policy NOT privacy | fulltext matches policies not containing privacy |\r\n| (login OR signin) AND form | fulltext matches fulltext login or signin with form |\r\n| type: html AND status: 200 | fulltext matches only HTML pages with HTTP success |\r\n\r\n## Field Search Definitions\r\n\r\nField search provides search precision, allowing you to specify which columns of the search index to filter. Rather than searching the entire content, you can restrict your query to specific attributes like URLs, headers, or content body. This approach improves efficiency when looking for specific attributes or patterns within crawl data.\r\n\r\n| Field | Description |\r\n|-------|-------------|\r\n| id | database ID |\r\n| url | resource URL |\r\n| type | enumerated list of types (see types table) |\r\n| size | file size in bytes |\r\n| status | HTTP response codes |\r\n| headers | HTTP response headers |\r\n| content | HTTP body—HTML, CSS, JS, and more |\r\n\r\n## Field Content\r\n\r\nA subset of fields can be independently requested with results, while core fields are always on. Use of headers and content can consume tokens quickly. Use judiciously, or use extras to crunch more results into the context window. Fields are a top level argument, independent of any field searching taking place in the query.\r\n\r\n| Field | Description |\r\n|-------|-------------|\r\n| id | always available |\r\n| url | always available |\r\n| type | always available |\r\n| status | always available |\r\n| created | on request |\r\n| modified | on request |\r\n| size | on request |\r\n| headers | on request |\r\n| content | on request |\r\n\r\n## Content Types\r\n\r\nCrawls contain resource types beyond HTML pages. The `type:` field search allows filtering by broad content type groups, particularly useful when filtering images without complex extension queries. For example, you might search for `type: html NOT content: login` to find pages without \"login,\" or `type: img` to analyze image resources. The table below lists all supported content types in the search system.\r\n\r\n| Type | Description |\r\n|------|-------------|\r\n| html | webpages |\r\n| iframe | iframes |\r\n| img | web images |\r\n| audio | web audio files |\r\n| video | web video files |\r\n| font | web font files |\r\n| style | CSS stylesheets |\r\n| script | JavaScript files |\r\n| rss | RSS syndication feeds |\r\n| text | plain text content |\r\n| pdf | PDF files |\r\n| doc | MS Word documents |\r\n| other | uncategorized |\r\n\r\n## Extras\r\n\r\nThe `extras` parameter provides additional processing options, transforming HTTP data (markdown, snippets, regex, xpath), or connecting the LLM to external data (thumbnails). These options can be combined as needed to achieve the desired result format.\r\n\r\n| Extra | Description |\r\n|-------|-------------|\r\n| thumbnails | Generates base64 encoded images to be viewed and analyzed by AI models. Enables image description, content analysis, and visual understanding while keeping token output minimal. Works with images, which can be filtered using `type: img` in queries. SVG is not supported. |\r\n| markdown | Provides the HTML content field as concise Markdown, reducing token usage and improving readability for LLMs. Works with HTML, which can be filtered using `type: html` in queries. |\r\n| regex | Extracts regular expression matches from crawled files such as HTML, CSS, JavaScript, etc. Not as precise a tool as XPath for HTML, but supports any text file as a data source. One or more regex patterns can be requested, using the `extrasRegex` argument. |\r\n| snippets | Matches fulltext queries to contextual keyword usage within the content. When used without requesting the content field (or markdown extra), it can provide an efficient means of refining a search without pulling down the complete page contents. Also great for rendering old school hit-highlighted results as a list, like Google search in 1999. Works with HTML, CSS, JS, or any text-based, crawled file. |\r\n| xpath | Extracts XPath selector data, used in scraping HTML content. Use XPath's text() selector for text-only, element selectors return outerHTML. Only supported with `type: html`, other types will be ignored. One or more XPath selectors (//h1, count(//h1), etc.) can be requested, using the `extrasXpath` argument. |\r\n\r\nExtras provide a means of producing token-efficient HTTP content responses. Markdown produces roughly 1/3 the bytes of the source HTML, snippets are generally 500 or so bytes per result, and XPath can be as specific or broad as you choose. The more focused your requests, the more results you can fit into your LLM session.\r\n\r\nThe idea, of course, is that the LLM takes care of this for you. If you notice your LLM developing an affinity to the \"content\" field (full HTML), a nudge in chat to budget tokens using the extras feature should be all that is needed.\r\n\r\n## Interactive Mode\r\n\r\n**No AI, just classic Boolean search of your web-archives in a terminal.**\r\n\r\nmcp-server-webcrawl can double as a terminal search for your web archives. You can run it against your local archives, but it gets more interesting when you realize you can ssh into any remote host and view archives sitting on that host. No downloads, syncs, multifactor logins, or other common drudgery required. With interactive mode, you can be in and searching a crawl sitting on a remote server in no time at all.\r\n\r\nLaunch with --crawler and --datasource to load into search immediately, or use setup datasrc and crawler in-app.\r\n\r\n```bash\r\nmcp-server-webcrawl --crawler wget --datasrc /path/to/datasrc --interactive\r\n# or manually enter crawler and datasrc in the UI\r\nmcp-server-webcrawl --interactive\r\n```\r\n\r\nInteractive mode is a way to search through tranches of crawled data, whenever, whereever... in a terminal.\r\n\r\n![Interactive search interface](sphinx/_static/images/interactive.search.webp)","url","https://github.com/pragmar/mcp_server_webcrawl","githubRepository",{"_151":152,"_153":154,"_155":156,"_16":157,"_158":159,"_31":32,"_119":160,"_162":163,"_164":-5,"_165":166},"defaultBranch","master","fullName","pragmar/mcp-server-webcrawl","githubTreeId",410136,8730,"language","HTML",{"_123":124,"_108":161},"XLodiSmb74","recentStargazers",1,"spdxLicense","stargazers",26,"glamaJson","inspectable",false,"npmPackage","supportedPlatforms",[173],"MACOS","scores",{"_176":177,"_178":-5,"_179":-5},"license",0,"quality","security","simpleIcon","mcp_server_webcrawl","toolCount","6roqjljpg8","updatedAt","2025-09-25T19:20:45.085076Z","meta",[188,191,193,200,203,205,208,211,214,217,220,222,225,228,230,232,234,236,238],{"_189":190},"title","mcp-server-webcrawl | Glama",{"_192":40,"_31":29},"content",{"_194":195,"_196":197,"_198":199},"href","https://glama.ai/mcp/servers/@pragmar/mcp_server_webcrawl","rel","canonical","tagName","link",{"_192":32,"_201":202},"property","og:title",{"_192":40,"_201":204},"og:description",{"_192":206,"_201":207},"https://glama.ai/logo.png","og:logo",{"_192":209,"_201":210},"https://glama.ai/mcp/servers/@pragmar/mcp_server_webcrawl/og-image","og:image",{"_192":212,"_201":213},"630","og:image:height",{"_192":215,"_201":216},"1200","og:image:width",{"_192":218,"_201":219},"website","og:type",{"_192":195,"_201":221},"og:url",{"_192":223,"_201":224},"Glama – MCP Hosting Platform","og:site_name",{"_192":226,"_31":227},"summary_large_image","twitter:card",{"_192":223,"_31":229},"twitter:title",{"_192":40,"_31":231},"twitter:description",{"_192":209,"_31":233},"twitter:image",{"_192":212,"_31":235},"twitter:image:height",{"_192":215,"_31":237},"twitter:image:width",{"_239":240},"script:ld+json",{"_241":242,"_243":244},"@context","http://schema.org","@graph",[245],{"_241":246,"_247":248,"_249":250},"https://schema.org","@type","BreadcrumbList","itemListElement",[251,257,261,265],{"_247":252,"_253":254,"_31":255,"_256":163},"ListItem","item","/","Glama","position",{"_247":252,"_253":258,"_31":259,"_256":260},"/mcp","MCP",2,{"_247":252,"_253":262,"_31":263,"_256":264},"/mcp/servers","Servers",3,{"_247":252,"_253":266,"_31":32,"_256":267},"/mcp/servers/@pragmar/mcp_server_webcrawl",4,"visitorIsMaintainer","routes/_public/mcp/servers/~namespace/~slug/_pages/_explorer/blob/~commit/~/_route",{"_271":272,"_27":278,"_299":300,"_186":312,"_309":336,"_337":338},"blob",{"_192":273,"_274":275,"_276":277},"include src/mcp_server_webcrawl/templates/markdown.xslt\r\ninclude src/mcp_server_webcrawl/templates/test_*.html\r\nglobal-exclude *settings_local.py\r\n","fileName","MANIFEST.in","size",147,{"_81":82,"_13":279,"_93":94,"_95":40,"_16":96,"_97":280,"_31":32,"_117":285,"_125":-5,"_126":-5,"_127":288,"_174":298,"_180":-5,"_105":181,"_182":177,"_108":183,"_184":185},[84,85,86,87,88,89,89,90,90,91,90,92],[281,283],{"_100":282,"_29":107,"_108":109},{"_102":103,"_31":104,"_105":106},{"_100":284,"_29":115,"_108":116},{"_102":112,"_31":113,"_105":114},{"_119":286,"_105":124},{"_121":287},{"_123":124},{"_129":289,"_144":294,"_149":295,"_167":-5,"_168":169,"_170":-5,"_171":297},{"_131":290,"_141":293,"_136":143},{"_133":291,"_138":292},{"_29":135,"_136":137},{"_29":140,"_136":137},[133,138],{"_33":146,"_147":148},{"_151":152,"_153":154,"_155":156,"_16":157,"_158":159,"_31":32,"_119":296,"_162":163,"_164":-5,"_165":166},{"_123":124,"_108":161},[173],{"_176":177,"_178":-5,"_179":-5},"member",{"_301":302,"_305":306,"_307":275,"_155":156,"_308":169,"_309":275,"_310":311,"_276":277,"_136":271},"commit",{"_303":304},"sha","5385450f7a3dc590600fac66cf69b3d3486df047","contentStoredObjectPointerId",317607,"fullPath","indexable","path","safeToDisplayAsText",true,[313,315,317,319,321,322,323,325,326,327,328,329,330,331,332,333,334,335],{"_189":314},"MANIFEST.in | mcp-server-webcrawl | Glama",{"_192":316,"_31":29},"Enterprise-grade security, privacy, and features like agents, MCP, prompt templates, and more.",{"_194":318,"_196":197,"_198":199},"https://glama.ai/mcp/servers/@pragmar/mcp_server_webcrawl/blob/5385450f7a3dc590600fac66cf69b3d3486df047/",{"_192":320,"_201":202},"MANIFEST.in | mcp-server-webcrawl",{"_192":316,"_201":204},{"_192":206,"_201":207},{"_192":324,"_201":210},"https://glama.ai/generated-images/og?title=MANIFEST.in+%7C+mcp-server-webcrawl",{"_192":212,"_201":213},{"_192":215,"_201":216},{"_192":218,"_201":219},{"_192":318,"_201":221},{"_192":223,"_201":224},{"_192":226,"_31":227},{"_192":223,"_31":229},{"_192":316,"_31":231},{"_192":324,"_31":233},{"_192":212,"_31":235},{"_192":215,"_31":237},"","treeMembers",[339,343,346,349,352,355,358,361,364,366,369,372],{"_301":340,"_307":341,"_309":341,"_136":342},{"_303":304},"docs","tree",{"_301":344,"_307":345,"_309":345,"_136":342},{"_303":304},"fixtures",{"_301":347,"_307":348,"_309":348,"_136":342},{"_303":304},"prompts",{"_301":350,"_307":351,"_309":351,"_136":342},{"_303":304},"sphinx",{"_301":353,"_307":354,"_309":354,"_136":342},{"_303":304},"src",{"_301":356,"_307":357,"_309":357,"_136":271},{"_303":304},"CONTRIBUTING.md",{"_301":359,"_307":360,"_309":360,"_136":271},{"_303":304},".gitignore",{"_301":362,"_307":363,"_309":363,"_136":271},{"_303":304},"LICENSE",{"_301":365,"_307":275,"_309":275,"_136":271},{"_303":304},{"_301":367,"_307":368,"_309":368,"_136":271},{"_303":304},"pyproject.toml",{"_301":370,"_307":371,"_309":371,"_136":271},{"_303":304},"README.md",{"_301":373,"_307":374,"_309":374,"_136":271},{"_303":304},"setup.py","actionData","errors"]

MCP directory API