screaming-frog-mcp

Claude가 Screaming Frog SEO Spider 헤드리스 크롤링을 실행하고, 데이터를 내보내며, 크롤링 저장소를 관리할 수 있게 해주는 MCP 서버입니다. GUI를 열 필요가 없습니다.

Claude에 URL을 입력하면 Screaming Frog가 백그라운드에서 실행됩니다. 결과 데이터를 바로 받을 수 있습니다.

bzsasson/screaming-frog-mcp v0.1.0을 포크하여 버그를 수정했습니다. 원본은 실사용이 불가능할 정도의 문제가 있었습니다. 크롤링을 멈추게 하는 파이프 데드락, 첫 실행 이후 모든 작업을 차단하는 잘못된 GUI 감지, 전체 크롤링 데이터베이스를 삭제할 수 있는 삭제 명령어 등이 포함되어 있었습니다. 모두 수정되었습니다.

수정 사항

요구 사항

• Screaming Frog SEO Spider (유료 라이선스 필요 — 헤드리스 크롤링은 라이선스가 필요합니다)

• Python 3.10+

• uv (권장) 또는 pip

설치

Mac

uvx --from git+https://github.com/marykovziridze/screaming-frog-mcp screaming-frog-mcp

~/Library/Application Support/Claude/claude_desktop_config.json에 추가하세요:

{
  "mcpServers": {
    "screaming-frog": {
      "command": "uvx",
      "args": ["--from", "git+https://github.com/marykovziridze/screaming-frog-mcp", "screaming-frog-mcp"]
    }
  }
}

Windows

먼저 uv를 설치하세요:

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

C:\Users\[사용자명]\AppData\Roaming\Claude\claude_desktop_config.json에 추가하세요:

{
  "mcpServers": {
    "screaming-frog": {
      "command": "uvx",
      "args": ["--from", "git+https://github.com/marykovziridze/screaming-frog-mcp", "screaming-frog-mcp"],
      "env": {
        "SF_CLI_PATH": "C:\\Program Files (x86)\\Screaming Frog SEO Spider\\ScreamingFrogSEOSpiderCli.exe"
      }
    }
  }
}

설정 파일을 편집한 후 Claude Desktop을 다시 시작하세요.

도구

설정

알려진 제한 사항

• Windows 잔여 크롤링 경로 — 자동 정리는 Mac에서 작동합니다. Windows의 경우, 중단 후 크롤링이 실패하면 SF 설치 디렉토리에서 crawl.seospider 파일을 확인하고 수동으로 삭제하세요.

• 크롤링 진행률 미표시 — SF의 헤드리스 CLI는 크롤링 중간 진행률을 보고하지 않습니다. 시작과 종료 시점만 알 수 있습니다.

• 대규모 사이트 — 약 160페이지 규모의 사이트에서 테스트되었습니다. 1만 페이지 이상의 사이트에서는 스트레스 테스트가 수행되지 않았습니다.

라이선스

MIT — LICENSE 참조

크레딧

원본 MCP 서버 제작자: Boaz Sasson.