Website Content Crawler MCP Server

MCP-Wrapper, der den apify/website-content-crawler-Actor tatsächlich über apify-client ausführt und dessen Seiten als JSON zurückgibt. Jeder Aufruf liefert entweder gecrawlte Inhalte oder einen strukturierten Fehler – er meldet niemals einen falschen Erfolg.

Was es kostet

Läufe werden Ihrem Apify-Konto zu dem für apify/website-content-crawler angegebenen Preis berechnet – dieser Server schlägt nichts extra auf. Kein Token, keine Kosten: Aufrufe geben missing_token zurück, bevor ein Lauf startet.

Live-Demo der Ausgabe (gleiche Crawling-Logik, gerendert): https://website-content-crawler.vercel.app

Related MCP server: Crawl4AI MCP Server

Einrichtung

env:

npm install
export APIFY_TOKEN=apify_api_...   # https://console.apify.com/settings/integrations
npm start                          # stdio MCP server

Werkzeug: crawl_website

Eingabe:

Ausgabestruktur (bei jedem Aufruf gleiche Form):

{
  "status": "ok",
  "run": { "id": "<apify run id>", "status": "SUCCEEDED" },
  "page_count": 3,
  "total_in_dataset": 3,
  "pages": [{ "url": "...", "title": "...", "text": "...(≤5000 chars)" }]
}

Fehlercodes: invalid_url, missing_token, apify_auth_failed, actor_run_failed, run_not_succeeded, dataset_fetch_failed.

Rauchtest

printf '%s\n' \
 '{"jsonrpc":"2.0","id":1,"method":"initialize","params":{"protocolVersion":"2024-11-05","capabilities":{},"clientInfo":{"name":"t","version":"0"}}}' \
 '{"jsonrpc":"2.0","method":"notifications/initialized"}' \
 '{"jsonrpc":"2.0","id":2,"method":"tools/list"}' \
 '{"jsonrpc":"2.0","id":3,"method":"tools/call","params":{"name":"crawl_website","arguments":{"url":"https://example.com"}}}' \
 | node index.js

Ohne gesetztes APIFY_TOKEN muss die Anfrage 3 das Folgende zurückgeben: {"status":"error","error":{"code":"missing_token",...}} – der Beweis, dass der Handler die echte Apify-Schnittstelle erreicht, statt ein Ergebnis zu erfinden.