MCP Website Downloader

Einfacher MCP-Server zum Herunterladen von Dokumentationswebsites und Vorbereiten für die RAG-Indizierung.

Merkmale

• Lädt komplette Dokumentationsseiten herunter, zumindest große Teile.

• Behält die Linkstruktur und Navigation bei, nicht wirklich. lol

• Lädt Assets (CSS, JS, Bilder) herunter und organisiert sie, ist aber nicht wirklich KI-freundlich und es muss wahrscheinlich alles irgendwie analysiert oder in eine Datenbank oder so etwas vektorisiert werden.

• Erstellt einen sauberen Index für RAG-Systeme. Derzeit scheint in jedem Ordner ein Index erstellt zu werden, ohne dass er noch einmal angeschaut wurde.

• Einfache, zweckgebundene MCP-Schnittstelle, ja.

Related MCP server: Website Downloader

Installation

Forken und herunterladen, mit CD zum Repository wechseln.

Fügen Sie dies mit Ihren eigenen Pfaden in Ihre claude_desktop_config.json ein:

Andere Verwendungen, über die Sie sich keine Sorgen machen müssen und die halluzinogene Wirkungen haben können, lol:

1. Starten Sie den Server:

2. Verwendung über Claude Desktop oder andere MCP-Clients:

Ausgabestruktur

Entwicklung

Der Server folgt der Standard-MCP-Architektur:

Komponenten

• server.py : Hauptimplementierung des MCP-Servers, die die Tool-Registrierung und -Anfragen verarbeitet

• core.py : Kernfunktion zum Herunterladen von Websites mit ordnungsgemäßer Asset-Verarbeitung

• utils.py : Hilfsprogramme für die Dateiverwaltung und URL-Verarbeitung

Designprinzipien

1. Einzelverantwortung

   • Jedes Modul hat einen klaren Zweck

   • Server verarbeitet MCP-Schnittstelle

   • Der Kern übernimmt das Herunterladen

   • Utils übernimmt allgemeine Operationen

2. Saubere Struktur

   • Behält die ursprüngliche Site-Struktur bei

   • Organisiert Vermögenswerte nach Typ

   • Schafft einen übersichtlichen Index für RAG-Systeme

3. Robuster Betrieb

   • Richtige Fehlerbehandlung

   • Angemessene Tiefengrenzen

   • Überprüfung des Asset-Downloads

   • Saubere URL-/Pfadverarbeitung

RAG-Index

Die Datei rag_index.json enthält:

Beitragen

1. Forken Sie das Repository

2. Erstellen eines Feature-Zweigs

3. Nehmen Sie Ihre Änderungen vor

4. Senden einer Pull-Anfrage

Lizenz

MIT-Lizenz – Siehe LICENSE-Datei

Fehlerbehandlung

Der Server behandelt allgemeine Probleme:

• Ungültige URLs

• Netzwerkfehler

• Fehler beim Herunterladen von Assets

• Fehlerhaftes HTML

• Tiefe Rekursion

• Dateisystemfehler

Fehlerantworten folgen dem Format:

Erfolgsantworten: