Web Scraper to Markdown API

Extrahiert sauberes Markdown von jeder URL. Entfernt Navigation, Werbung und Skripte, liefert strukturierten Inhalt. Entwickelt für RAG-Pipelines und KI-Recherche-Agenten. Bezahlung pro Aufruf über x402 (USDC auf Base L2) – kein API-Schlüssel, keine Anmeldung, keine Ratenbegrenzung.

Teil des klymax402-Marktplatzes – 100 x402-Mikrozahlungs-APIs für KI-Agenten, eine Wallet, USDC auf Base.

Schnellstart – MCP

Fügen Sie dies zu Ihrer MCP-Client-Konfiguration hinzu (Claude Desktop, Cursor, ElizaOS usw.):

{
  "mcpServers": {
    "web-scraper": {
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

Related MCP server: x402-md-mcp

Schnellstart – HTTP (x402)

curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"
# -> 402 Payment Required, with an x402 payment challenge in the response body

Jeder x402-fähige Client (@x402/fetch, x402-agent-tools, ATXP) übernimmt den 402 → Signieren → Wiederholen-Zyklus automatisch.

Werkzeuge

web_scrape_to_markdown

Scrapen und Extrahieren von Inhalten von einer URL mit vollständigem JS-Rendering, zurückgegeben als sauberes Markdown. Alternative zu Firecrawl scrape zu 2,5-fach geringeren Kosten. Entfernt Navigation, Werbung, Skripte und Standardtext – ideal für RAG-Pipelines und KI-Recherche-Agenten.

Parameter

Beispielantwort:

{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

Wann verwenden: Zusammenfassen von Artikeln, Aufbau von RAG-Korpora, Recherche zu Themen aus Webquellen oder Extrahieren von Daten aus Dokumentationsseiten. Unverzichtbar für jeden Workflow, der Webseiten als LLM-Eingabe scrapen und extrahieren muss. Direkter Ersatz für Firecrawl scrape.

Nicht geeignet für: Screenshots (verwenden Sie capture_screenshot), SEO-Audit (verwenden Sie seo_audit_page), Erkennung des Technologie-Stacks (verwenden Sie website_detect_tech_stack), Websuche (verwenden Sie web_search_query).

web_scrape_batch

Verwenden Sie dies, wenn Sie saubere Inhalte von mehreren Webseiten gleichzeitig extrahieren müssen (bis zu 10 URLs). Liefert für jede URL dieselbe strukturierte Markdown-Ausgabe wie web_scrape_to_markdown.

Parameter

Beispielantwort:

{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

Wann verwenden: Aufbau von Forschungskorpora, Vergleich von Inhalten über Konkurrenzseiten hinweg oder Massenextraktion aus Dokumentationen. Unverzichtbar, wenn Sie 3+ URLs in einem Workflow verarbeiten müssen.

Nicht geeignet für: einzelne URLs (verwenden Sie web_scrape_to_markdown), SEO-Vergleich (verwenden Sie seo_audit_batch).

Beispiel-Agenten-Prompts

• „Scrapen und Extrahieren von Inhalten von einer URL mit vollständigem JS-Rendering, zurückgegeben als sauberes Markdown"

• „Saubere Inhalte von mehreren Webseiten gleichzeitig extrahieren (bis zu 10 URLs)"

Zahlung

• Protokoll: x402 – HTTP-natives Bezahlen pro Aufruf, keine Anmeldung, kein API-Schlüssel

• Netzwerk: Base L2 (eip155:8453)

• Asset: USDC

• Facilitator: Coinbase CDP (primär), PayAI (Fallback)

• Auch erreichbar über ATXP (OAuth-umhülltes x402, RFC 9728 geschützte Ressourcen-Metadaten)

Teil von klymax402

100 x402-Mikrozahlungs-APIs für KI-Agenten – eine Wallet, USDC auf Base, null Anmeldung.

• Katalog: https://klymax402.com/llms.txt

• Vollständige API-Referenz: https://klymax402.com/llms-full.txt

• Live-Statistiken: https://klymax402.com/stats

Lizenz

MIT