Web Scraper to Markdown API

Извлекайте чистый markdown из любого URL. Удаляет навигацию/рекламу/скрипты, возвращает структурированный контент. Создан для RAG-пайплайнов и AI-исследовательских агентов. Оплата за вызов через x402 (USDC на Base L2) — без API-ключа, без регистрации, без ограничений по частоте запросов.

Часть маркетплейса klymax402 — 100 x402 микроплатежных API для AI-агентов, один кошелек, USDC на Base.

Быстрый старт -- MCP

Добавьте в конфигурацию вашего MCP-клиента (Claude Desktop, Cursor, ElizaOS и т.д.):

{
  "mcpServers": {
    "web-scraper": {
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

Related MCP server: skim-mcp

Быстрый старт -- HTTP (x402)

curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"
# -> 402 Payment Required, with an x402 payment challenge in the response body

Любой x402-совместимый клиент (@x402/fetch, x402-agent-tools, ATXP) автоматически обрабатывает цикл 402 -> подпись -> повтор.

Инструменты

web_scrape_to_markdown

Скрапит и извлекает контент с URL с полным рендерингом JS, возвращает чистый markdown. Альтернатива Firecrawl scrape по цене в 2,5 раза ниже. Удаляет навигацию, рекламу, скрипты и шаблонный контент — идеально для RAG-пайплайнов и AI-исследовательских агентов.

Параметры

Пример ответа:

{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

Когда использовать: для суммаризации статей, создания RAG-корпусов, исследования тем из веб-источников или извлечения данных из страниц документации. Необходим для любого рабочего процесса, которому нужно скрапить и извлекать контент с веб-страниц в качестве входных данных для LLM. Прямая замена Firecrawl scrape.

Не для: скриншотов (используйте capture_screenshot), SEO-аудита (используйте seo_audit_page), определения технологического стека (используйте website_detect_tech_stack), веб-поиска (используйте web_search_query).

web_scrape_batch

Используйте это, когда нужно извлечь чистый контент с нескольких веб-страниц одновременно (до 10 URL). Возвращает тот же структурированный markdown-вывод, что и web_scrape_to_markdown, для каждого URL.

Параметры

Пример ответа:

{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

Когда использовать: для создания исследовательских корпусов, сравнения контента на страницах конкурентов или массового извлечения документации. Необходим, когда у вас есть 3+ URL для обработки в одном рабочем процессе.

Не для: одиночных URL (используйте web_scrape_to_markdown), SEO-сравнения (используйте seo_audit_batch).

Примеры промптов для агентов

• "Скрапить и извлекать контент с URL с полным рендерингом JS, возвращать чистый markdown"

• "Извлекать чистый контент с нескольких веб-страниц одновременно (до 10 URL)"

Оплата

• Протокол: x402 — нативный HTTP-протокол оплаты за вызов, без регистрации, без API-ключа

• Сеть: Base L2 (eip155:8453)

• Актив: USDC

• Фасилитатор: Coinbase CDP (основной), PayAI (резервный)

• Также доступен через ATXP (x402 с OAuth-оберткой, метаданные защищенных ресурсов RFC 9728)

Часть klymax402

100 x402 микроплатежных API для AI-агентов — один кошелек, USDC на Base, без регистрации.

• Каталог: https://klymax402.com/llms.txt

• Полная справочная документация API: https://klymax402.com/llms-full.txt

• Живая статистика: https://klymax402.com/stats

Лицензия

MIT