Website Content Crawler

Der Crawler durchsucht eine Liste von URLs und gibt die Seiteninhalte als strukturiertes JSON zurück. Er läuft als Apify Actor und als MCP-Server, damit Agenten ihn direkt aufrufen können.

Live-Demo: https://website-content-crawler.vercel.app

Was die Ausführung kostet

Zahlung pro Event auf Apify:

Die Plattform-Compute-Kosten werden vor der Auszahlung abgezogen; siehe PRICING.md für die Unit Economics.

Related MCP server: cleanfetch

Ausgabe

Jeder Lauf gibt genau diese Form zurück. Das Ausgabeschema erzwingt sie.

{
  "url": "https://example.com",
  "status": 200,
  "title": "Example Domain",
  "description": null,
  "h1": "Example Domain",
  "markdown": "# Example Domain\n\nThis domain is for use in documentation examples without needing permission. Avoid use in operations.\n\nLearn more\n\nLearn more (https://iana.org/domains/example)",
  "links": [
    "https://iana.org/domains/example"
  ],
  "wordCount": 23,
  "crawledAt": "2026-08-23T09:55:20.140Z",
  "error": null
}

Aufbau

• src/ – Quellcode des Actors (Crawlee Cheerio crawler)

• .actor/ – Apify-Actor-Spezifikation: actor.json, INPUT_SCHEMA.json, output_schema.json, dataset_schema.json, Dockerfile

• mcp-server/ – MCP-Wrapper, der den Actor als das Tool crawl_website bereitstellt

• site/ + tools/ – erstellt die Live-Demo-Seite aus einem echten Lauf-Datensatz

Lokal ausführen

npm install
npm test

MCP-Server:

cd mcp-server && npm install && node smoke.mjs

Veröffentlichung im Apify Store

Wenn das Konto aktiv ist: apify push, Preis als Pay per Event, Listing verwendet dieses README.