@robot-resources/scraper-mcp

⚠️ 지원 중단됨 — @robot-resources/scraper에 통합되었습니다. 이 MCP 서버는 이제 메인 스크레이퍼 패키지 내부에 scraper-mcp 바이너리로 포함되어 제공됩니다. 패키지 하나만 설치하면 MCP를 사용할 수 있습니다. npx robot-resources --for=cursor 또는 npx robot-resources --for=claude-code를 통해 자동 설정이 가능합니다. 아래의 도구(scraper_compress_url, scraper_crawl_url)와 매개변수는 변경되지 않았습니다.

Scraper용 MCP 서버 — AI 에이전트를 위한 컨텍스트 압축.

Robot Resources란 무엇인가요?

AI 에이전트를 위한 인사 관리(Human Resources)입니다.

Robot Resources는 AI 에이전트에게 두 가지 강력한 기능을 제공합니다:

• 라우터(Router) — 각 LLM 호출을 가장 저렴하고 유능한 모델로 라우팅합니다. OpenAI, Anthropic, Google 전반에서 60-90%의 비용 절감 효과를 제공합니다.

• 스크레이퍼(Scraper) — 웹 페이지를 깔끔한 마크다운으로 압축합니다. 페이지당 토큰을 70-80% 절감합니다.

모두 로컬에서 실행됩니다. API 키는 절대 기기 밖으로 나가지 않습니다. 무료, 무제한, 티어 제한 없음.

전체 제품군 설치

npx robot-resources

명령어 하나로 모든 설정이 완료됩니다. 자세한 내용은 robotresources.ai에서 확인하세요.

이 MCP 서버에 대하여

이 패키지는 Model Context Protocol을 통해 AI 에이전트가 웹 콘텐츠를 토큰 효율적인 마크다운으로 압축할 수 있는 두 가지 도구(단일 페이지 압축 및 다중 페이지 BFS 크롤링)를 제공합니다.

설치

npx @robot-resources/scraper-mcp

또는 전역으로 설치:

npm install -g @robot-resources/scraper-mcp

Claude Desktop 설정

claude_desktop_config.json에 추가하세요:

{
  "mcpServers": {
    "scraper": {
      "command": "npx",
      "args": ["-y", "@robot-resources/scraper-mcp"]
    }
  }
}

도구

scraper_compress_url

단일 웹 페이지를 70-90% 더 적은 토큰의 마크다운으로 압축합니다.

매개변수:

예시 프롬프트: "Compress https://docs.example.com/getting-started"

scraper_crawl_url

BFS 링크 탐색을 사용하여 시작 URL에서 여러 페이지를 크롤링합니다.

매개변수:

예시 프롬프트: "Crawl the docs at https://docs.example.com with max 20 pages"

페치 모드

Stealth 모드는 impit이 필요하며, Render 모드는 @robot-resources/scraper의 피어 의존성으로 playwright가 필요합니다.

요구 사항

• Node.js 18+

관련 항목

• @robot-resources/scraper - 핵심 압축 라이브러리

• @robot-resources/router-mcp - LLM 비용 최적화를 위한 MCP 서버

• Robot Resources - AI 에이전트를 위한 인사 관리

라이선스

MIT