Web Scraper to Markdown API

从任意 URL 提取干净的 markdown。去除导航/广告/脚本，返回结构化内容。专为 RAG 流水线和 AI 研究代理构建。通过 x402（Base L2 上的 USDC）按调用付费——无需 API 密钥，无需注册，无速率限制墙。

klymax402 市场的一部分——为 AI 代理提供 100 个 x402 微支付 API，一个钱包，Base 上的 USDC。

快速开始 -- MCP

添加到你的 MCP 客户端配置（Claude Desktop、Cursor、ElizaOS 等）：

{
  "mcpServers": {
    "web-scraper": {
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

Related MCP server: x402-md-mcp

快速开始 -- HTTP (x402)

curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"
# -> 402 Payment Required, with an x402 payment challenge in the response body

任何支持 x402 的客户端（@x402/fetch、x402-agent-tools、ATXP）都会自动处理 402 -> 签名 -> 重试循环。

工具

web_scrape_to_markdown

抓取并提取 URL 中的内容，支持完整的 JS 渲染，返回干净的 markdown。作为 Firecrawl scrape 的替代方案，成本降低 2.5 倍。去除导航、广告、脚本和样板内容——非常适合 RAG 流水线和 AI 研究代理。

参数

示例响应：

{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

适用场景：总结文章、构建 RAG 语料库、从网络来源研究主题，或从文档页面提取数据。对于任何需要抓取网页内容并将其作为 LLM 输入的工作流来说都是必不可少的。可直接替代 Firecrawl scrape。

不适用场景：截图（使用 capture_screenshot）、SEO 审计（使用 seo_audit_page）、技术栈检测（使用 website_detect_tech_stack）、网络搜索（使用 web_search_query）。

web_scrape_batch

当你需要一次性从多个网页（最多 10 个 URL）提取干净内容时使用此工具。为每个 URL 返回与 web_scrape_to_markdown 相同的结构化 markdown 输出。

参数

示例响应：

{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

适用场景：构建研究语料库、比较竞争对手页面的内容，或批量提取文档。当你在一个工作流中需要处理 3 个以上 URL 时必不可少。

不适用场景：单个 URL（使用 web_scrape_to_markdown）、SEO 对比（使用 seo_audit_batch）。

示例代理提示词

• "抓取并提取 URL 中的内容，支持完整的 JS 渲染，返回干净的 markdown"

• "一次性从多个网页（最多 10 个 URL）提取干净内容"

支付

• 协议：x402 -- 原生 HTTP 按调用付费，无需注册，无需 API 密钥

• 网络：Base L2（eip155:8453）

• 资产：USDC

• 促进者：Coinbase CDP（主要）、PayAI（备用）

• 也可通过 ATXP 访问（OAuth 封装的 x402，RFC 9728 受保护资源元数据）

klymax402 的一部分

为 AI 代理提供 100 个 x402 微支付 API——一个钱包，Base 上的 USDC，零注册。

• 目录：https://klymax402.com/llms.txt

• 完整 API 参考：https://klymax402.com/llms-full.txt

• 实时统计：https://klymax402.com/stats

许可证

MIT