Web Scraper to Markdown API

任意のURLからクリーンなMarkdownを抽出します。ナビゲーション、広告、スクリプトを除去し、構造化されたコンテンツを返します。RAGパイプラインやAIリサーチエージェント向けに構築されています。x402（Base L2上のUSDC）による従量課金制で、APIキー不要、サインアップ不要、レート制限の壁もありません。

klymax402マーケットプレイスの一部です。AIエージェント向けの100のx402マイクロペイメントAPI、1つのウォレット、Base上のUSDC。

クイックスタート -- MCP

MCPクライアント設定（Claude Desktop、Cursor、ElizaOSなど）に追加します:

{
  "mcpServers": {
    "web-scraper": {
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

Related MCP server: x402-md-mcp

クイックスタート -- HTTP (x402)

curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"
# -> 402 Payment Required, with an x402 payment challenge in the response body

x402対応クライアント（@x402/fetch、x402-agent-tools、ATXP）は、402 → 署名 → リトライのサイクルを自動的に処理します。

ツール

web_scrape_to_markdown

完全なJSレンダリングでURLからコンテンツをスクレイピングして抽出し、クリーンなMarkdownとして返します。Firecrawlのスクレイプに代わる、コスト2.5倍削減の代替手段です。ナビゲーション、広告、スクリプト、定型文を除去し、RAGパイプラインやAIリサーチエージェントに最適です。

パラメータ

応答例:

{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

使用する場面: 記事の要約、RAGコーパスの構築、ウェブソースからのトピック調査、ドキュメントページからのデータ抽出。LLM入力としてウェブページをスクレイピングして抽出する必要があるあらゆるワークフローに不可欠です。Firecrawlのスクレイプのドロップイン代替品です。

使用しない場面: スクリーンショット（capture_screenshotを使用）、SEO監査（seo_audit_pageを使用）、技術スタック検出（website_detect_tech_stackを使用）、ウェブ検索（web_search_queryを使用）。

web_scrape_batch

複数のウェブページ（最大10個のURL）から一度にクリーンなコンテンツを抽出する必要がある場合に使用します。各URLに対してweb_scrape_to_markdownと同じ構造化Markdown出力を返します。

パラメータ

応答例:

{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

使用する場面: リサーチコーパスの構築、競合ページ間のコンテンツ比較、一括ドキュメント抽出。1つのワークフローで3つ以上のURLを処理する場合に不可欠です。

使用しない場面: 単一URL（web_scrape_to_markdownを使用）、SEO比較（seo_audit_batchを使用）。

エージェントプロンプトの例

• "完全なJSレンダリングでURLからコンテンツをスクレイピングして抽出し、クリーンなMarkdownとして返す"

• "複数のウェブページ（最大10個のURL）から一度にクリーンなコンテンツを抽出する"

支払い

• プロトコル: x402 -- HTTPネイティブの従量課金制、サインアップ不要、APIキー不要

• ネットワーク: Base L2（eip155:8453）

• アセット: USDC

• ファシリテーター: Coinbase CDP（プライマリ）、PayAI（フォールバック）

• ATXP経由でも利用可能（OAuthラップされたx402、RFC 9728保護リソースメタデータ）

klymax402の一部

AIエージェント向けの100のx402マイクロペイメントAPI -- 1つのウォレット、Base上のUSDC、サインアップ不要。

• カタログ: https://klymax402.com/llms.txt

• 完全なAPIリファレンス: https://klymax402.com/llms-full.txt

• ライブ統計: https://klymax402.com/stats

ライセンス

MIT