Fetch MCP

Fetcher MCP

MCP-Server zum Abrufen von Webseiteninhalten mit dem Headless-Browser Playwright.

Vorteile

• JavaScript-Unterstützung : Im Gegensatz zu herkömmlichen Web-Scrapern verwendet Fetcher MCP Playwright zur Ausführung von JavaScript und ist daher in der Lage, dynamische Webinhalte und moderne Webanwendungen zu verarbeiten.
• Intelligente Inhaltsextraktion : Der integrierte Lesbarkeitsalgorithmus extrahiert automatisch den Hauptinhalt von Webseiten und entfernt Anzeigen, Navigation und andere nicht wesentliche Elemente.
• Flexibles Ausgabeformat : Unterstützt sowohl HTML- als auch Markdown-Ausgabeformate und erleichtert so die Integration in verschiedene nachgelagerte Anwendungen.
• Parallele Verarbeitung : Das Tool fetch_urls ermöglicht das gleichzeitige Abrufen mehrerer URLs und verbessert so die Effizienz von Stapelverarbeitungsvorgängen erheblich.
• Ressourcenoptimierung : Blockiert automatisch unnötige Ressourcen (Bilder, Stylesheets, Schriftarten, Medien), um die Bandbreitennutzung zu reduzieren und die Leistung zu verbessern.
• Robuste Fehlerbehandlung : Eine umfassende Fehlerbehandlung und -protokollierung gewährleistet einen zuverlässigen Betrieb auch bei problematischen Webseiten.
• Konfigurierbare Parameter : Feinkörnige Kontrolle über Timeouts, Inhaltsextraktion und Ausgabeformatierung für verschiedene Anwendungsfälle.

Schnellstart

Direkt mit npx ausführen:

Ersteinrichtung – installieren Sie den erforderlichen Browser, indem Sie den folgenden Befehl in Ihrem Terminal ausführen:

HTTP- und SSE-Transport

Verwenden Sie den Parameter --transport=http , um sowohl die Streamable-HTTP-Endpunkt- als auch die SSE-Endpunktdienste gleichzeitig zu starten:

Nach dem Start stellt der Server die folgenden Endpunkte bereit:

• /mcp – Streambarer HTTP-Endpunkt (modernes MCP-Protokoll)
• /sse – SSE-Endpunkt (altes MCP-Protokoll)

Kunden können je nach Bedarf auswählen, welche Verbindungsmethode sie verwenden möchten.

Debug-Modus

Führen Sie es mit der Option --debug aus, um das Browserfenster zum Debuggen anzuzeigen:

Konfiguration MCP

Konfigurieren Sie diesen MCP-Server in Claude Desktop:

Unter MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json

Unter Windows: %APPDATA%/Claude/claude_desktop_config.json

Docker-Bereitstellung

Ausführen mit Docker

Bereitstellen mit Docker Compose

Erstellen Sie eine docker-compose.yml Datei:

Führen Sie dann Folgendes aus:

Merkmale

• fetch_url - Ruft Webseiteninhalte von einer angegebenen URL ab
  • Verwendet den Headless-Browser Playwright zum Parsen von JavaScript
  • Unterstützt die intelligente Extraktion von Hauptinhalten und die Konvertierung in Markdown
  • Unterstützt die folgenden Parameter:
    • url : Die URL der abzurufenden Webseite (erforderlicher Parameter)
    • timeout : Timeout für das Laden der Seite in Millisekunden, Standard ist 30000 (30 Sekunden)
    • waitUntil : Gibt an, wann die Navigation als abgeschlossen gilt. Optionen: „load“, „domcontentloaded“, „networkidle“, „commit“, Standard ist „load“.
    • extractContent : Gibt an, ob der Hauptinhalt intelligent extrahiert werden soll. Der Standardwert ist „true“.
    • maxLength : Maximale Länge des zurückgegebenen Inhalts (in Zeichen), Standard ist keine Begrenzung
    • returnHtml : Ob HTML-Inhalt anstelle von Markdown zurückgegeben werden soll, Standard ist „false“
    • waitForNavigation : Ob nach dem ersten Laden der Seite auf weitere Navigation gewartet werden soll (nützlich für Websites mit Anti-Bot-Verifizierung), Standard ist „false“
    • navigationTimeout : Maximale Wartezeit für weitere Navigation in Millisekunden, Standard ist 10000 (10 Sekunden)
    • disableMedia : Ob Medienressourcen (Bilder, Stylesheets, Schriftarten, Medien) deaktiviert werden sollen, der Standardwert ist „true“.
    • debug : Ob der Debug-Modus aktiviert werden soll (Browserfenster anzeigen), überschreibt das Befehlszeilenflag --debug, falls angegeben
• fetch_urls - Paralleles Batch-Abrufen von Webseiteninhalten von mehreren URLs
  • Verwendet paralleles Abrufen mehrerer Registerkarten für eine verbesserte Leistung
  • Gibt kombinierte Ergebnisse mit klarer Trennung zwischen den Webseiten zurück
  • Unterstützt die folgenden Parameter:
    • urls : Array der abzurufenden URLs (erforderlicher Parameter)
    • Andere Parameter sind dieselben wie bei fetch_url

Tipps

Umgang mit speziellen Website-Szenarien

Umgang mit Anti-Crawler-Mechanismen

• Warten Sie, bis der Ladevorgang abgeschlossen ist : Fügen Sie bei Websites, die CAPTCHA, Weiterleitungen oder andere Überprüfungsmechanismen verwenden, Folgendes in Ihre Eingabeaufforderung ein:
  Please wait for the page to fully load
  Dabei wird der Parameter waitForNavigation: true verwendet.
• Timeout-Dauer erhöhen : Für Websites, die langsam laden:
  Please set the page loading timeout to 60 seconds
  Dadurch werden sowohl timeout als auch navigationTimeout -Parameter entsprechend angepasst.

Anpassungen beim Inhaltsabruf

• Ursprüngliche HTML-Struktur beibehalten : Wenn die Inhaltsextraktion fehlschlagen könnte:
  Please preserve the original HTML content
  Legt extractContent: false und returnHtml: true .
• Vollständigen Seiteninhalt abrufen : Wenn der extrahierte Inhalt zu begrenzt ist:
  Please fetch the complete webpage content instead of just the main content
  Legt extractContent: false .
• Inhalt als HTML zurückgeben : Wenn das HTML-Format anstelle des Standard-Markdowns benötigt wird:
  Please return the content in HTML format
  Legt returnHtml: true .

Debuggen und Authentifizierung

Aktivieren des Debug-Modus

• Dynamische Debug-Aktivierung : So zeigen Sie das Browserfenster während eines bestimmten Abrufvorgangs an:
  Please enable debug mode for this fetch operation
  Dadurch wird debug: true festgelegt, auch wenn der Server ohne das Flag --debug gestartet wurde.

Verwenden von benutzerdefinierten Cookies zur Authentifizierung

• Manuelle Anmeldung : So melden Sie sich mit Ihren eigenen Anmeldeinformationen an:
  Please run in debug mode so I can manually log in to the website
  Legt debug: true oder verwendet das Flag --debug , wodurch das Browserfenster für die manuelle Anmeldung geöffnet bleibt.
• Interaktion mit dem Debug-Browser : Wenn der Debug-Modus aktiviert ist:
  1. Das Browserfenster bleibt geöffnet
  2. Sie können sich mit Ihren Anmeldeinformationen manuell bei der Website anmelden
  3. Nach Abschluss der Anmeldung werden die Inhalte mit Ihrer authentifizierten Sitzung abgerufen
• Debug für bestimmte Anfragen aktivieren : Auch wenn der Server bereits läuft, können Sie den Debug-Modus für eine bestimmte Anfrage aktivieren:
  Please enable debug mode for this authentication step
  Legt debug: true nur für diese spezielle Anfrage fest und öffnet das Browserfenster für die manuelle Anmeldung.

Entwicklung

Abhängigkeiten installieren

Installieren Sie den Playwright Browser

Installieren Sie die für Playwright erforderlichen Browser:

Erstellen Sie den Server

Debuggen

Verwenden Sie MCP Inspector zum Debuggen:

Sie können zum Debuggen auch den sichtbaren Browsermodus aktivieren:

Ähnliche Projekte

• g-search-mcp : Ein leistungsstarker MCP-Server für die Google-Suche, der die parallele Suche mit mehreren Schlüsselwörtern gleichzeitig ermöglicht. Ideal für Batch-Suchvorgänge und Datenerfassung.

Lizenz

Lizenziert unter der MIT-Lizenz