웹 스크래퍼 to Markdown API

모든 URL에서 깔끔한 markdown을 추출합니다. 내비게이션/광고/스크립트를 제거하고 구조화된 콘텐츠를 반환합니다. RAG 파이프라인과 AI 리서치 에이전트를 위해 제작되었습니다. x402를 통한 호출당 결제(USDC on Base L2) — API 키 없음, 가입 없음, 요금 제한 벽 없음.

klymax402 마켓플레이스의 일부 — AI 에이전트를 위한 100개의 x402 마이크로페이먼트 API, 하나의 지갑, Base의 USDC.

빠른 시작 — MCP

MCP 클라이언트 설정(Claude Desktop, Cursor, ElizaOS 등)에 추가하세요:

{
  "mcpServers": {
    "web-scraper": {
      "url": "https://web-scraper.api.klymax402.com/mcp"
    }
  }
}

Related MCP server: skim-mcp

빠른 시작 — HTTP (x402)

curl "https://web-scraper.api.klymax402.com/api/scrape?url=https://example.com"
# -> 402 Payment Required, with an x402 payment challenge in the response body

x402를 인식하는 모든 클라이언트(@x402/fetch, x402-agent-tools, ATXP)는 402 → 서명 → 재시도 주기를 자동으로 처리합니다.

도구

web_scrape_to_markdown

전체 JS 렌더링으로 URL에서 콘텐츠를 스크래핑하고 추출하여 깔끔한 markdown으로 반환합니다. Firecrawl scrape의 2.5배 저렴한 대안입니다. 내비게이션, 광고, 스크립트, 보일러플레이트를 제거합니다 — RAG 파이프라인과 AI 리서치 에이전트에 이상적입니다.

매개변수

응답 예시:

{"title":"How to Scale APIs","description":"A guide to...","content":"# How to Scale APIs\n\nScaling requires...","wordCount":1250,"charCount":7800,"url":"https://blog.example.com/scale-apis"}

사용 시점: 기사 요약, RAG 코퍼스 구축, 웹 소스에서 주제 리서치, 문서 페이지에서 데이터 추출. LLM 입력으로 웹 페이지를 스크래핑하고 추출해야 하는 모든 워크플로에 필수적입니다. Firecrawl scrape의 드롭인 대체품입니다.

부적합한 경우: 스크린샷(capture_screenshot 사용), SEO 감사(seo_audit_page 사용), 기술 스택 탐지(website_detect_tech_stack 사용), 웹 검색(web_search_query 사용).

web_scrape_batch

여러 웹 페이지(최대 10개 URL)에서 깔끔한 콘텐츠를 한 번에 추출해야 할 때 사용합니다. 각 URL에 대해 web_scrape_to_markdown과 동일한 구조화된 markdown 출력을 반환합니다.

매개변수

응답 예시:

{"results":[{"url":"https://a.com","title":"Page A","wordCount":800},{"url":"https://b.com","title":"Page B","wordCount":1200}],"summary":{"total":2,"totalWords":2000,"failed":0}}

사용 시점: 리서치 코퍼스 구축, 경쟁사 페이지 간 콘텐츠 비교, 대량 문서 추출. 하나의 워크플로에서 3개 이상의 URL을 처리해야 할 때 필수적입니다.

부적합한 경우: 단일 URL(web_scrape_to_markdown 사용), SEO 비교(seo_audit_batch 사용).

에이전트 프롬프트 예시

• "전체 JS 렌더링으로 URL에서 콘텐츠를 스크래핑하고 추출하여 깔끔한 markdown으로 반환"

• "여러 웹 페이지(최대 10개 URL)에서 깔끔한 콘텐츠를 한 번에 추출"

결제

• 프로토콜: x402 — HTTP 네이티브 호출당 결제, 가입 없음, API 키 없음

• 네트워크: Base L2 (eip155:8453)

• 자산: USDC

• 파실리테이터: Coinbase CDP(기본), PayAI(대체)

• ATXP를 통해서도 접근 가능 (OAuth 래핑 x402, RFC 9728 보호 리소스 메타데이터)

klymax402의 일부

AI 에이전트를 위한 100개의 x402 마이크로페이먼트 API — 하나의 지갑, Base의 USDC, 가입 제로.

• 카탈로그: https://klymax402.com/llms.txt

• 전체 API 레퍼런스: https://klymax402.com/llms-full.txt

• 실시간 통계: https://klymax402.com/stats

라이선스

MIT