mcp-server-webcrawl

Überbrücken Sie die Lücke zwischen Ihrem Webcrawl und KI-Sprachmodellen mit dem Model Context Protocol (MCP). Mit mcp-server-webcrawl filtert und analysiert Ihr KI-Client Webinhalte unter Ihrer Anleitung oder autonom. Der Server bietet eine Volltextsuche mit Boolescher Unterstützung, Ressourcenfilterung nach Typ, HTTP-Status und mehr.

mcp-server-webcrawl bietet dem LLM ein vollständiges Menü zum Durchsuchen Ihrer Webinhalte und funktioniert mit einer Vielzahl von Webcrawlern:

• WARC

• wget

• InterroBot

• Katana

• SiteOne

mcp-server-webcrawl ist kostenlos und Open Source und erfordert Claude Desktop und Python (>=3.10). Die Installation erfolgt über die Kommandozeile mit pip install:

Merkmale

• Claude Desktop bereit

• Unterstützung der Volltextsuche

• Filtern nach Typ, Status und mehr

• Multi-Crawler-kompatibel

• Unterstützt erweiterte/boolesche und Feldsuche

MCP-Konfiguration

Navigieren Sie im Claude Desktop-Menü zu Datei > Einstellungen > Entwickler. Klicken Sie auf „Konfiguration bearbeiten“, um die Konfigurationsdatei zu finden. Öffnen Sie sie in einem Editor Ihrer Wahl und passen Sie das Beispiel an Ihren datasrc-Pfad an.

Sie können bei Bedarf weitere MCP-Server-Webcrawl-Verbindungen unter mcpServers einrichten.

Eine schrittweise Anleitung zur Einrichtung finden Sie in den Einrichtungshandbüchern .

Windows vs. macOS

Windows: Befehl auf „mcp-server-webcrawl“ eingestellt

macOS: Befehl auf absoluten Pfad setzen, also den Wert von $ which mcp-server-webcrawl

Zum Beispiel:

So finden Sie den absoluten Pfad der ausführbaren Datei mcp-server-webcrawl auf Ihrem System:

1. Terminal öffnen

2. Führen Sie which mcp-server-webcrawl aus

3. Kopieren Sie den vollständigen zurückgegebenen Pfad und verwenden Sie ihn in Ihrer Konfigurationsdatei

wget (mit --mirror)

Das Argument datasrc sollte auf das übergeordnete Verzeichnis der Spiegel gesetzt werden.

WARC

Das Argument datasrc sollte auf das übergeordnete Verzeichnis der WARC-Dateien gesetzt werden.

InterroBot

Das Argument datasrc sollte auf den direkten Pfad zur Datenbank gesetzt werden.

Katana

Das Argument datasrc sollte auf das Verzeichnis der Stammhosts gesetzt werden. Katana trennt Seiten und Medien nach Hosts. ./archives/example.com/example.com wird erwartet und ist angemessen. Komplexere Websites erweitern die Crawl-Daten in die Ursprungshostverzeichnisse.

SiteOne (mithilfe der Offline-Website generieren )

Das Argument datasrc sollte auf das übergeordnete Verzeichnis der Archive gesetzt werden, die Archivierung muss aktiviert sein.

Boolesche Suchsyntax

Die Abfrage-Engine unterstützt feldspezifische ( field: value ) Suchen und komplexe boolesche Ausdrücke. Volltext wird als Kombination der Felder „URL“, „Inhalt“ und „Header“ unterstützt.

Obwohl die API-Schnittstelle für die direkte Nutzung durch das LLM konzipiert ist, kann es hilfreich sein, sich mit der Suchsyntax vertraut zu machen. Vom LLM generierte Suchvorgänge sind zwar überprüfbar, werden aber in der Benutzeroberfläche in der Regel reduziert. Wenn Sie die Abfrage sehen möchten, erweitern Sie die MCP-Reduzierbarkeit.

Beispielabfragen

Feldsuchdefinitionen

Die Feldsuche bietet Suchpräzision und ermöglicht es Ihnen, festzulegen, welche Spalten des Suchindex gefiltert werden sollen. Anstatt den gesamten Inhalt zu durchsuchen, können Sie Ihre Abfrage auf bestimmte Attribute wie URLs, Überschriften oder den Textkörper beschränken. Dieser Ansatz verbessert die Effizienz bei der Suche nach bestimmten Attributen oder Mustern in Crawldaten.

Inhaltstypen

Crawls erfassen eine Vielzahl von Ressourcentypen, die über HTML-Seiten hinausgehen. Die Suche im Feld type: ermöglicht das Filtern nach breiten Inhaltstypgruppen. Dies ist besonders nützlich beim Filtern von Bildern ohne komplexe Erweiterungsabfragen. Beispielsweise können Sie nach type: html NOT content: login suchen, um Seiten ohne „login“ zu finden, oder type: img , um Bildressourcen zu analysieren. Die folgende Tabelle listet alle im Suchsystem unterstützten Inhaltstypen auf.