intercept-mcp

Gib deiner KI die Fähigkeit, das Web zu lesen. Ein Befehl, keine API-Schlüssel erforderlich.

Ohne dieses Tool erhält deine KI beim Aufruf einer URL oft einen 403-Fehler, eine Blockade oder eine Wand aus rohem HTML. Mit intercept erhält sie fast immer den Inhalt — sauberes Markdown, sofort einsatzbereit.

Unterstützt Tweets, YouTube-Videos (mit Transkripten, falls verfügbar), arXiv-Paper, PDFs, Wikipedia-Artikel und GitHub-Repos. Wenn die erste Strategie fehlschlägt, versucht es bis zu 14 weitere, bevor es aufgibt.

Funktioniert mit jedem MCP-Client: Claude Code, Claude Desktop, Codex, Cursor, Windsurf, Cline und mehr.

Installation

Claude Code

claude mcp add intercept -s user -- npx -y intercept-mcp

Codex

codex mcp add intercept -- npx -y intercept-mcp

Cursor

Einstellungen → MCP → Server hinzufügen:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

Windsurf

Einstellungen → MCP → Server hinzufügen → gleiche JSON-Konfiguration wie oben.

Claude Desktop

Füge dies zu deiner claude_desktop_config.json hinzu:

{
  "mcpServers": {
    "intercept": {
      "command": "npx",
      "args": ["-y", "intercept-mcp"]
    }
  }
}

Andere MCP-Clients

Jeder Client, der stdio-MCP-Server unterstützt, kann npx -y intercept-mcp ausführen.

Für das fetch-Tool sind keine API-Schlüssel erforderlich.

Related MCP server: urltomarkdown-mcp

Funktionsweise

URLs werden in vier Stufen verarbeitet:

1. Seitenspezifische Handler

Bekannte URL-Muster werden vor der Fallback-Pipeline an dedizierte Handler weitergeleitet:

2. Gemeinsamer Cache (agentsweb.org)

Bevor ein Fetcher kontaktiert wird, prüft jede Anfrage agentsweb.org — einen globalen, geteilten Markdown-Cache für KI-Agenten. Wenn ein anderer Agent diese URL bereits abgerufen hat, erhältst du das Ergebnis in unter 50 ms.

Jeder erfolgreiche Abruf trägt automatisch dazu bei. Einträge gewinnen durch ein selbstheilendes Konsensmodell an Vertrauen: Wenn unabhängige Instanzen dieselbe URL abrufen und denselben Inhalt bestätigen, steigt die Konfidenz.

Deaktiviere dies vollständig mit INTERCEPT_SHARED_CACHE=false oder nutze den Nur-Lese-Modus (konsumieren, aber nicht beitragen) mit INTERCEPT_CACHE_READ_ONLY=true.

agentsweb.org API

agentsweb.org bietet auch eigenständige Endpunkte zur direkten Nutzung:

• /web?q= — das Web durchsuchen

• /research?q= — suchen + abrufen + zwischenspeichern in einem Aufruf

• /fetch?url= — bei Bedarf abrufen, automatisch zwischengespeichert

Siehe agentsweb.org/docs für die vollständige API-Dokumentation.

3. Fallback-Pipeline

Wenn kein Handler übereinstimmt (oder der Handler nichts zurückgibt), durchläuft die URL die mehrstufige Pipeline:

Stufe-2-Fetcher laufen parallel. Wenn mehrere erfolgreich sind, gewinnt das qualitativ hochwertigste Ergebnis. Alle anderen Stufen laufen sequenziell.

Alle Fetcher geben korrektes Markdown (Überschriften, Links, Fettgedrucktes, Tabellen, Codeblöcke) via Turndown zurück — keinen reinen Text.

4. Caching

Ergebnisse werden im Arbeitsspeicher mit TTL zwischengespeichert (30 Min. für Erfolge, 5 Min. für Fehler). Maximal 100 Einträge mit LRU-Verdrängung. Fehlgeschlagene URLs werden zwischengespeichert, um erneute Versuche bei bekannten toten URLs zu verhindern.

Tools

fetch

Ruft eine URL ab und gibt deren Inhalt als sauberes Markdown zurück.

• url (String, erforderlich) — Abzurufende URL

• maxTier (Nummer, optional, 1-5) — Stoppt bei dieser Stufe für geschwindigkeitskritische Fälle

search

Durchsucht das Web und gibt Ergebnisse zurück.

• query (String, erforderlich) — Suchanfrage

• count (Nummer, optional, 1-20, Standard 5) — Anzahl der Ergebnisse

Verwendet die Brave Search API, falls BRAVE_API_KEY gesetzt ist, dann SearXNG, falls SEARXNG_URL gesetzt ist, und schließlich DuckDuckGo als unzuverlässigen letzten Ausweg.

Prompts

research-topic

Sucht nach einem Thema und ruft die Top-Ergebnisse für eine Zusammenfassung aus mehreren Quellen ab.

• topic (String) — Das zu recherchierende Thema

• depth (String, Standard "3") — Anzahl der abzurufenden Top-Ergebnisse

extract-article

Ruft eine URL ab und extrahiert die Kernpunkte aus dem Inhalt.

• url (String) — Die URL zum Abrufen und Zusammenfassen

Umgebungsvariablen

Suche: Hat einen DuckDuckGo-Fallback, dieser ist jedoch ratenbegrenzt und unzuverlässig. Für den produktiven Einsatz hoste SearXNG selbst und setze SEARXNG_URL (siehe unten) oder besorge dir einen Brave Search API-Schlüssel.

Abruf: Funktioniert ohne Schlüssel. Setze CF_API_TOKEN + CF_ACCOUNT_ID, um Cloudflare Browser Run (ehemals Browser Rendering) für JavaScript-lastige Seiten (SPAs, React-Seiten) zu aktivieren.

Stealth-Abruf (USE_STEALTH_FETCH)

Nutzung auf eigene Gefahr. Wenn aktiviert, wird ein Fetcher hinzugefügt, der echte Browser-TLS-Fingerabdrücke (Chrome/Firefox-Chiffren, HTTP/2-Einstellungen, Header-Reihenfolge) mittels got-scraping imitiert. Dies kann Bot-Erkennung und CAPTCHA-Auslöser auf Seiten umgehen, die automatisierte Anfragen sonst blockieren würden.

Dieser Fetcher läuft auf Stufe 3 nach dem regulären Raw-Abruf. Wenn der Raw-Abruf blockiert wird (CAPTCHA, Cloudflare-Challenge, 403), versucht es der Stealth-Fetcher mit Browser-Imitation erneut.

Dies kann gegen die Nutzungsbedingungen einiger Websites verstoßen. Die Autoren von intercept-mcp übernehmen keine Verantwortung für die Nutzung dieser Funktion. Sie ist standardmäßig deaktiviert und muss explizit aktiviert werden.

Eigener Proxy (HTTPS_PROXY)

Wenn Raw-Abrufe markiert werden, ist die effektivste Lösung meist eine saubere ausgehende IP — nicht ein ausgefeilterer Fingerabdruck. intercept-mcp respektiert die Standard-Umgebungsvariablen HTTPS_PROXY / HTTP_PROXY / NO_PROXY, sodass du den gesamten ausgehenden Datenverkehr über jeden beliebigen Proxy leiten kannst:

HTTPS_PROXY=http://user:pass@proxy.example.com:8080 npx intercept-mcp

Dies funktioniert mit jedem HTTP(S)-Proxy — einem selbstgehosteten Squid, einem Tailscale-Exit-Node, einem 5-Dollar-VPS mit 3proxy oder kommerziellen Residential-Proxies (Bright Data, Oxylabs usw.). Der Stealth-Fetcher und got-scraping-Aufrufe übernehmen dies ebenfalls automatisch.

Selbsthosting von SearXNG

Für eine zuverlässige Suche hoste SearXNG mit Docker selbst. Eine Konfiguration ist im Repo enthalten:

git clone https://github.com/bighippoman/intercept-mcp.git
cd intercept-mcp/searxng && docker compose up -d

Setze dann SEARXNG_URL=http://localhost:8888. Keine Ratenbegrenzungen, keine CAPTCHAs, aggregiert Google + Bing + DuckDuckGo + Wikipedia + Brave.

Oder nutze eine bestehende SearXNG-Instanz — setze einfach SEARXNG_URL auf deren URL.

URL-Normalisierung

Eingehende URLs werden automatisch bereinigt:

• Entfernt über 60 Tracking-Parameter (UTM, Click-IDs, Analytics, A/B-Tests usw.)

• Entfernt Hash-Fragmente

• Upgrade auf HTTPS

• Bereinigt AMP-Artefakte

• Behält funktionale Parameter bei (ref, format, page, offset, limit)

Erkennung der Inhaltsqualität

Jedes Fetcher-Ergebnis wird auf Qualität bewertet. Automatischer Abbruch bei:

• CAPTCHA / Cloudflare-Challenges

• Login-Wänden

• HTTP-Fehlerseiten im Body

• Inhalten unter 200 Zeichen

Anforderungen

• Node.js >= 18

• Keine API-Schlüssel für die grundlegende Nutzung erforderlich