Scrapling Fetch MCP
MCP 服务器可帮助 AI 助手访问实施机器人检测的网站的文本内容,从而弥合您在浏览器中看到的内容与 AI 可以访问的内容之间的差距。
预期用途
此工具已针对从已实施机器人检测的网站检索少量文档和参考资料(仅限文本/HTML)进行了优化。它尚未针对通用网站抓取或数据收集进行设计或测试。
注意:该项目是与 Claude Sonnet 3.7 合作开发的,使用LLM Context 。
安装
要求:
Python 3.10+
uv包管理器
安装依赖项和工具:
与 Claude 一起设置
将此配置添加到您的 Claude 客户端的 MCP 服务器配置中:
可用工具
该软件包提供了两种不同的工具:
s-fetch-page :检索支持分页的完整网页
s-fetch-pattern :提取与周围上下文匹配的正则表达式模式的内容
示例用法
获取完整页面
使用模式匹配提取特定内容
功能选项
保护级别:
basic:快速检索(1-2 秒),但对于保护严密的站点,成功率较低stealth:平衡保护(3-8 秒),适用于大多数网站max-stealth:针对严密保护的站点提供最大程度的保护(10 秒以上)
内容定位选项:
s-fetch-page :检索具有分页支持的整个页面(使用
start_index和max_length)s-fetch-pattern :使用正则表达式提取特定内容(使用
search_pattern和context_chars)结果包括使用
s-fetch-page进行后续查询的位置信息
获得最佳效果的技巧
从
basic模式开始,仅在需要时升级到更高的保护级别对于大型文档,请使用
s-fetch-page的分页参数在大页面上查找特定信息时使用
s-fetch-pattern人工智能将根据站点的保护级别自动调整其方法
限制
仅为文本内容设计:专门用于文档、文章和参考资料
不适用于大容量抓取或数据收集
可能无法与需要身份验证的网站一起使用
性能因站点复杂程度而异
执照
阿帕奇 2
hybrid server
The server is able to function both locally and remotely, depending on the configuration or use case.
MCP 服务器可帮助 AI 助手访问实施机器人检测的网站的文本内容,从而弥合您在浏览器中看到的内容与 AI 可以访问的内容之间的差距。
Related MCP Servers
- -security-license-qualityMCP server that enables AI assistants to perform SEO automation tasks including keyword research, SERP analysis, and competitor analysis through Google Ads API integration.Last updated -1
- -security-license-qualityAn MCP server that enables AI assistants to control a web browser through natural language commands, allowing them to navigate websites and extract information via SSE transport.Last updated -765MIT License
- -security-license-qualityA MCP server that allows AI assistants to interact with the browser, including getting page content as markdown, modifying page styles, and searching browser history.Last updated -82
- Asecurity-licenseAqualityAn MCP server that provides AI assistants with powerful tools to interact with YouTube, including video searching, transcript extraction, comment retrieval, and more.Last updated -820