scrapling-fetch-mcp

AI 어시스턴트가 봇 방지 기능이 적용된 웹사이트에서 콘텐츠를 가져올 수 있도록 돕습니다. Scrapling(patchright + curl-cffi)을 사용하여 자동화 방지 조치를 우회하고 깔끔한 HTML 또는 Markdown을 반환합니다.

문서 및 참조 자료의 소규모 검색에 최적화되어 있습니다. 대량 스크래핑이나 데이터 수집용으로 설계되지 않았습니다.

요구 사항: Python 3.10+, uv

Claude Code 스킬

가장 쉬운 사용 방법은 Claude Code 스킬로 사용하는 것입니다. 설치가 완료되면 Claude가 요청 시 봇 방지 URL을 자동으로 가져오므로 수동 명령이 필요하지 않습니다.

프로젝트에 설치 (권장 — 이 프로젝트 컨텍스트에서만 로드됨):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch .claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup .claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

또는 모든 프로젝트에 설치 (모든 곳의 컨텍스트에 로드됨):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch ~/.claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup ~/.claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

그런 다음 Claude에게 /s-fetch-setup을 실행하도록 요청하세요. 도구와 브라우저 바이너리(대용량 다운로드)를 설치한 후 스스로 제거합니다. 그 후에는 자연스럽게 요청하세요:

"Fetch the docs at https://example.com/api"
"Find all mentions of 'authentication' on that page"
"Get me the installation instructions from their homepage"

Related MCP server: browser-use MCP Server

Claude Desktop (MCP 서버)

이미 /s-fetch-setup을 실행했다면 도구가 설치된 것이므로 아래 설정으로 건너뛰세요.

그렇지 않은 경우 먼저 설치하세요:

uv tool install git+https://github.com/cyberchitta/scrapling-fetch-mcp
uvx --from git+https://github.com/cyberchitta/scrapling-fetch-mcp scrapling install

참고: 브라우저 설치 시 수백 MB를 다운로드하며 처음 사용하기 전에 완료되어야 합니다. 서버가 처음에 시간 초과되면 몇 분 기다린 후 다시 시도하세요.

Claude Desktop MCP 설정에 다음을 추가하고 재시작하세요:

MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "scrapling-fetch": {
      "command": "uvx",
      "args": ["scrapling-fetch-mcp"]
    }
  }
}

작동 방식

Claude가 자동으로 사용하는 두 가지 도구:

• 페이지 가져오기 — 페이지 매김 지원과 함께 전체 페이지 검색

• 패턴 추출 — 정규식과 일치하는 콘텐츠 찾기

자동으로 단계가 올라가는 세 가지 보호 수준:

• basic — 빠름(1-2초), 대부분의 사이트에서 작동

• stealth — 보통(3-8초), 헤드리스 Chromium

• max-stealth — 철저함(10초 이상), 전체 브라우저 핑거프린트

제한 사항

• 텍스트 콘텐츠 전용(문서, 기사, 참조)

• 대량 스크래핑이나 인증이 필요한 사이트에는 부적합

• 사이트 복잡도 및 보호 수준에 따라 성능이 다름

라이선스

Apache 2.0