local-web-mcp

Version 0.3.0 · AGPL-3.0

Dieses Werkzeug wurde mit Unterstützung durch KI entwickelt, wurde aber vor dem Upload von einem Menschen geprüft.

Ein MCP-Server, der Claude einen Fallback-Web-Fetcher bereitstellt, der auf deinem eigenen Rechner läuft. Wenn der eingebaute Fetcher blockiert ist, versucht dieser es von deiner IP, deiner Verbindung und optional deiner angemeldeten Sitzung aus.

Ein Werkzeug: fetch_url_locally.

Das Problem, das es löst

Gehostete Fetcher laufen aus IP-Bereichen von Rechenzentren, die viele Websites grundsätzlich ablehnen. Ein lokaler stdio-MCP-Server tut das nicht: Der Client startet den Prozess auf deinem Rechner, also stammen die Anfragen aus deiner normalen Verbindung.

Verifiziert funktionierend auf Websites, die der gehostete Fetcher nicht lesen konnte, darunter CNBC, Politiken und Bloomberg.

Related MCP server: auth-fetch-mcp

Was es nicht ändert

Einen klaren Hinweis wert, weil die Rahmung zu Übertreibungen einlädt.

• Die Modellinferenz läuft weiterhin auf den Servern von Anthropic.

• Der abgerufene Seitentext wird weiterhin als Werkzeugausgabe an das Modell gesendet. Alles, was über eine angemeldete Sitzung gelesen wird, geht damit mit.

• Es ändert, wer mit der Website spricht, nicht wo das Modell läuft.

Die harte Grenze

Kann die Seite ohne Ausführung von JavaScript gelesen werden?

Wenn ja, erledigt dieses Werkzeug das. Wenn nein, führt weder auf Header-, TLS- noch Cookie-Ebene etwas dorthin, und auch noch so viel User-Agent-Feintuning hilft nicht. Websites mit DataDome, Cloudflare Turnstile, PerimeterX und Ähnlichem liefern eine Herausforderung aus, die ausgeführt werden muss, um sie zu bestehen. Verwende dafür ein browserbasiertes Werkzeug oder öffne die Seite selbst.

Das ist eine Grenze, die man kennen sollte, kein Fehler, den es zu beheben gilt.

Bewertungen

Jede Antwort ist gekennzeichnet. Der gefährliche Fall ist kein offensichtlicher 403, sondern eine 200, die nicht die Seite ist: ein Bot-Zwischenfenster, eine Zustimmungsmauer, eine leere client-gerenderte Hülle. Diese werden zusammengefasst, als wären sie der Artikel.

Alles andere als ok bringt eine ausdrückliche Warnung an, die dem Modell sagt, den Textkörper nicht als Inhalt zu behandeln.

Der Beweis aus dem Textkörper hat Vorrang vor dem Statuscode. Ein Verlag, der einen Artikel hinter einer Bezahlschranke als HTTP 403 ausliefert, wird als login_required gemeldet, nicht als blocked, weil der nützliche Rat dort ist, Cookies zu exportieren, statt zu einem Browser zu greifen.

Die Erkennung zielt auf Anbieter-Infrastruktur statt auf Formulierungen: Herausforderungsseiten sind lokalisiert, also ist captcha-delivery.com ein zuverlässiges Signal, wo „Verifying your device" es nicht ist. Anbieter-Cookies in Antwort-Headern zählen als Beleg, wenn sie mit einem Verweigerungsstatus einhergehen.

Das Werkzeug

fetch_url_locally(url, max_chars=20000, use_session=true)

Die Antwort besteht aus einem kurzen Header, gefolgt vom extrahierten Text:

URL: https://example.com/article
Status: 200
Verdict: ok
Title: The headline
Session: authenticated (the user's cookies were sent)

The article text...

Session: erscheint nur, wenn tatsächlich Cookies geladen wurden, die für diesen Host gelten. Eine andere Bewertung als ok fügt eine WARNING:-Zeile hinzu, die dem Modell sagt, den Textkörper nicht als Inhalt zu behandeln.

Fehler kommen als Fehlermeldung zurück, die die Ursache benennt, zum Beispiel [blocked_host] Host '192.168.1.5' resolves to a private or internal address (deutsch: Host '192.168.1.5' löst zu einer privaten oder internen Adresse auf). Codes: invalid_url, blocked_scheme, blocked_host, dns_failure, timeout, too_many_redirects, upstream_error, invalid_argument.

Voraussetzungen

• Python 3.11+ (verwendet asyncio.timeout). Mit uv musst du es nicht selbst installieren; uv holt eine geeignete Python-Interpretation

• Claude Desktop oder Claude Code. Stdio-Server funktionieren nicht im Browser oder in der mobilen App; diese benötigen einen öffentlich erreichbaren HTTPS-Endpunkt.

Installation

Mit uv, das selbst ein geeignetes Python und die Abhängigkeiten holt:

uv --directory /absolute/path/to/local-web-mcp run local-web-mcp

Führe das einmal in einem Terminal aus, bevor du den Server registrierst. Der erste Lauf löst die Umgebung auf und baut sie auf, was lange genug dauert, dass ein Client, der den Server kalt startet, aufgeben und den Server als fehlgeschlagen melden könnte, obwohl die Konfiguration korrekt ist.

Es gibt Starting local-web aus und wartet dann auf einen Client auf stdin, was wie ein funktionierender Server aussieht. Sobald du diese Zeile siehst, ist die Umgebung gebaut: Drücke Ctrl+C und mach weiter.

Oder mit einer einfachen virtuellen Umgebung:

python3 -m venv .venv
.venv/bin/pip install -r requirements.txt

Bei Claude Desktop registrieren

Füge zu claude_desktop_config.json hinzu (macOS: ~/Library/Application Support/Claude/, Linux: ~/.config/Claude/):

{
  "mcpServers": {
    "local-web": {
      "command": "uv",
      "args": [
        "--directory",
        "/absolute/path/to/local-web-mcp",
        "run",
        "local-web-mcp"
      ]
    }
  }
}

Wenn uv nicht im PATH liegt, den der Client sieht, verwende den absoluten Pfad als command. Das Pendant mit virtueller Umgebung ist:

{
  "mcpServers": {
    "local-web": {
      "command": "/absolute/path/to/.venv/bin/python",
      "args": ["/absolute/path/to/local_web_mcp.py"]
    }
  }
}

Claude Code:

claude mcp add local-web -- uv --directory /absolute/path/to/local-web-mcp run local-web-mcp

Konfiguration

Alles optional. Jede Einstellung hat einen funktionierenden Standardwert.

Der Standard-Accept-Language fragt zuerst Dänisch an. Das ist eine bewusste Standardwahl statt einer neutralen, also setze LOCALWEB_ACCEPT_LANGUAGE, wenn du Englisch oder etwas anderes möchtest:

"env": { "LOCALWEB_ACCEPT_LANGUAGE": "en-GB,en;q=0.9" }

Sitzungs-Cookies

Weise LOCALWEB_COOKIE_FILE auf einen Export aus einer Browser-Erweiterung. Der Lader akzeptiert Netscape-cookies.txt-Dateien mit beliebigem Header oder ohne Header sowie JSON-Exporte der gängigen Erweiterungen. Siehe cookies.txt.example.

Setze immer LOCALWEB_COOKIE_DOMAINS. Ohne diese Angabe ist der gesamte Jar aktiv und jeder Abruf kann eine unzusammenhängende Sitzung mitführen. Mit ihr werden alle Cookies außerhalb dieser Domains bereits beim Laden verworfen, bevor der Jar einen Client erreicht. Der Abgleich umfasst Subdomains (example.com deckt www.example.com ab), aber keine Ähnlichkeiten (evil-example.com).

Drei Dinge, die du im Hinterkopf behalten solltest:

1. Inhalte, die über deine Sitzung gelesen werden, werden als Werkzeugausgabe an das Modell gesendet.

2. Eine Cookie-Datei ist eine Zugangsdaten-Datei. chmod 600, und sie ist hier gitignored.

3. Cookies laufen ab. Wenn eine zuvor funktionierende Quelle plötzlich login_required liefert, ist das meist ein veralteter Export und kein verlorener Zugang.

Übergib use_session=false, um zu prüfen, ob eine Seite wirklich öffentlich ist.

Ein lokales Netzwerk erreichen

Private Adressen sind standardmäßig blockiert, und das ist beabsichtigt. Das Modell wählt URLs teilweise aus Text aus, den es gerade gelesen hat, also kann eine abgerufene Seite versuchen, es auf 192.168.1.1 zu lenken. Die Blockliste bedeutet, dass eine Prompt-Injection im Seiteninhalt dies nicht in einen Netzwerkscanner verwandeln kann.

Bevorzuge eine enge Allowlist gegenüber dem pauschalen Schalter:

"env": { "LOCALWEB_ALLOWLIST": "nas.local,nas" }

Sicherheit

• Schema auf http und https beschränkt; URLs mit Zugangsdaten werden abgelehnt

• Hostname wird aufgelöst und jede zurückgegebene Adresse vor der Anfrage validiert

• IPv4-Adressen in IPv6-Schreibweise (::ffff:10.0.0.1) werden vor der Prüfung entpackt

• Cloud-Metadaten-Endpunkte sind bedingungslos blockiert: Der Hostname wird vor sowohl der Allowlist als auch ALLOW_PRIVATE aufgelöst, also kann keines von beiden sie öffnen

• Redirects und Meta-Refreshes werden manuell verfolgt und bei jedem Sprung neu validiert

• Cookie-Anzahlen werden protokolliert, niemals Namen, Werte oder Domains

Bekannte Einschränkungen

• Kein JavaScript. Die harte Grenze oben.

• DNS-Rebinding. Der Hostname wird zur Validierung aufgelöst und dann beim Verbinden erneut aufgelöst. Um diese Lücke zu schließen, muss die Verbindung an die validierte IP gebunden werden. Sinnvoll, bevor man ALLOW_PRIVATE in einem unsicheren Netzwerk aktiviert.

• Die Erkennung von Herausforderungen ist signaturbasiert und wird abweichen, wenn Anbieter ihr Markup ändern. Führe inspect_response.py aus, wenn eine Bewertung falsch aussieht.

• Die HTML-zu-Text-Extraktion ist ohne Abhängigkeiten und grob. trafilatura wäre für ernsthafte Artikelextraktion deutlich besser.

Dateien

Eine falsche Bewertung diagnostizieren

uv run python inspect_response.py https://example.com/article

Gibt den Status, die interessanten Header, den Anfang des Textkörpers aus und führt dann die eigene Erkennung des Servers dagegen aus. Prüfe das immer, bevor du Erkennungslogik änderst. Ein Browser und dieser Fetcher bekommen häufig völlig unterschiedliche Antworten ausgeliefert. Was du auf dem Bildschirm siehst, ist also kein Beleg dafür, was der Fetcher empfangen hat.

Tests

uv run python unit_test.py
uv run python smoke_test.py

unit_test.py läuft offline und beendet sich bei einem Fehler mit einem Exit-Code ungleich null, sodass es als Pre-Commit-Gate dient. smoke_test.py steuert den Server über stdio und sendet eine Live-Anfrage; es benötigt also eine Netzwerkverbindung. Führen Sie beide im Stammverzeichnis des Repositorys aus.

Beim plain-venv-Weg ersetzen Sie uv run python durch .venv/bin/python.

Lizenz

Copyright (C) 2026 David Lindholm.

GNU Affero General Public License v3.0 oder neuer. Siehe LICENSE.

Dieses Programm wird in der Hoffnung weitergegeben, dass es nützlich sein wird, aber OHNE JEGLICHE GARANTIE; selbst ohne die stillschweigende Garantie der MARKTGÄNGIGKEIT oder der EIGNUNG FÜR EINEN BESTIMMTEN ZWECK.