Skip to main content
Glama
cyberchitta

Scrapling Fetch MCP

by cyberchitta

scrapling-fetch-mcp

License PyPI version

帮助 AI 助手从受机器人保护的网站获取内容。使用 Scrapling (patchright + curl-cffi) 来绕过反自动化措施,返回纯净的 HTML 或 Markdown。

针对文档和参考资料的低频检索进行了优化。不适用于高频抓取或数据采集。

要求:Python 3.10+,uv

Claude Code 技能

使用此工具最简单的方法是将其作为 Claude Code 技能。安装后,当您提出请求时,Claude 将自动获取受机器人保护的 URL — 无需手动命令。

安装到您的项目中(推荐 — 仅在当前项目上下文中加载):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch .claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup .claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

或者安装到所有项目中(在所有上下文中加载):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch ~/.claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup ~/.claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

然后让 Claude 运行 /s-fetch-setup — 它将安装工具和浏览器二进制文件(下载量较大),然后自动移除自身。之后,只需自然地提问即可:

"Fetch the docs at https://example.com/api"
"Find all mentions of 'authentication' on that page"
"Get me the installation instructions from their homepage"

Related MCP server: browser-use MCP Server

Claude Desktop (MCP 服务器)

如果您已经运行过 /s-fetch-setup,则工具已安装 — 请直接跳至下方的配置部分。

否则请先安装:

uv tool install git+https://github.com/cyberchitta/scrapling-fetch-mcp
uvx --from git+https://github.com/cyberchitta/scrapling-fetch-mcp scrapling install

注意:浏览器安装需要下载数百 MB 的文件,且必须在首次使用前完成。如果服务器最初超时,请等待几分钟后再试。

将其添加到您的 Claude Desktop MCP 设置中并重启:

MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %APAPPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "scrapling-fetch": {
      "command": "uvx",
      "args": ["scrapling-fetch-mcp"]
    }
  }
}

工作原理

包含两个由 Claude 自动使用的工具:

  • 页面获取 — 获取完整页面,支持分页

  • 模式提取 — 查找匹配正则表达式的内容

三种保护级别,自动升级:

  • basic — 快速 (1-2秒),适用于大多数网站

  • stealth — 中等 (3-8秒),无头 Chromium

  • max-stealth — 全面 (10秒以上),完整浏览器指纹

局限性

  • 仅限文本内容(文档、文章、参考资料)

  • 不适用于高频抓取或需要身份验证的网站

  • 性能因网站复杂度和保护级别而异

许可证

Apache 2.0

Install Server
A
license - permissive license
A
quality
D
maintenance

Resources

Unclaimed servers have limited discoverability.

Looking for Admin?

If you are the server author, to access and configure the admin panel.

Latest Blog Posts

MCP directory API

We provide all the information about MCP servers via our MCP API.

curl -X GET 'https://glama.ai/api/mcp/v1/servers/cyberchitta/scrapling-fetch-mcp'

If you have feedback or need assistance with the MCP directory API, please join our Discord server