screaming-frog-mcp

MCP 服务器，允许 Claude 运行 Screaming Frog SEO Spider 无头爬取、导出数据并管理爬取存储——无需打开 GUI。

在 Claude 中输入 URL。Screaming Frog 将在后台运行。你将获得返回的数据。就是这样。

基于 bzsasson/screaming-frog-mcp v0.1.0 分支并进行了错误修复。原版存在导致实际无法使用的问题——导致爬取挂起的管道死锁、将后续运行误判为 GUI 从而阻止运行的错误 GUI 检测、可能擦除整个爬取数据库的删除命令。现已全部修复。

已修复内容

要求

• 带有付费许可证的 Screaming Frog SEO Spider —— 无头爬取需要许可证

• Python 3.10+

• uv (推荐) 或 pip

安装

Mac

uvx --from git+https://github.com/marykovziridze/screaming-frog-mcp screaming-frog-mcp

添加到 ~/Library/Application Support/Claude/claude_desktop_config.json：

{
  "mcpServers": {
    "screaming-frog": {
      "command": "uvx",
      "args": ["--from", "git+https://github.com/marykovziridze/screaming-frog-mcp", "screaming-frog-mcp"]
    }
  }
}

Windows

首先安装 uv：

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

添加到 C:\Users\[name]\AppData\Roaming\Claude\claude_desktop_config.json：

{
  "mcpServers": {
    "screaming-frog": {
      "command": "uvx",
      "args": ["--from", "git+https://github.com/marykovziridze/screaming-frog-mcp", "screaming-frog-mcp"],
      "env": {
        "SF_CLI_PATH": "C:\\Program Files (x86)\\Screaming Frog SEO Spider\\ScreamingFrogSEOSpiderCli.exe"
      }
    }
  }
}

编辑配置后重启 Claude Desktop。

工具

配置

已知限制

• Windows 陈旧爬取路径 — 自动清理功能在 Mac 上有效。在 Windows 上，如果中断后爬取失败，请检查 SF 安装目录中的 crawl.seospider 文件并手动删除它。

• 无爬取进度百分比 — SF 的无头 CLI 不会报告爬取过程中的进度。你只能知道它何时开始和何时结束。

• 大型网站 — 已在约 160 页的网站上测试。未在 1 万页以上的网站上进行压力测试。

许可证

MIT — 参见 LICENSE

致谢

原始 MCP 服务器由 Boaz Sasson 开发。