@robot-resources/scraper-mcp

⚠️ 已弃用 — 已合并至 @robot-resources/scraper。 此 MCP 服务器现在作为主 scraper 包中的内置 scraper-mcp 二进制文件发布。安装一个包即可获得 MCP。通过 npx robot-resources --for=cursor 或 npx robot-resources --for=claude-code 进行自动配置。下方的工具 (scraper_compress_url, scraper_crawl_url) 和参数保持不变。

用于 Scraper 的 MCP 服务器 — 为 AI 智能体提供上下文压缩。

什么是 Robot Resources？

人力资源，但专为您的 AI 智能体服务。

Robot Resources 为 AI 智能体提供了两种超能力：

• 路由器 (Router) — 将每个 LLM 调用路由到最便宜且具备能力的模型。在 OpenAI、Anthropic 和 Google 之间节省 60-90% 的成本。

• 抓取器 (Scraper) — 将网页压缩为精简的 Markdown。每页减少 70-80% 的 Token。

两者均在本地运行。您的 API 密钥永远不会离开您的机器。免费、无限制、无分级。

安装完整套件

npx robot-resources

一条命令即可完成所有设置。了解更多信息请访问 robotresources.ai

关于此 MCP 服务器

此包通过 Model Context Protocol 为 AI 智能体提供了两种将网页内容压缩为 Token 高效 Markdown 的工具：单页压缩和多页 BFS 爬取。

安装

npx @robot-resources/scraper-mcp

或者全局安装：

npm install -g @robot-resources/scraper-mcp

Claude Desktop 配置

添加到您的 claude_desktop_config.json 中：

{
  "mcpServers": {
    "scraper": {
      "command": "npx",
      "args": ["-y", "@robot-resources/scraper-mcp"]
    }
  }
}

工具

scraper_compress_url

将单个网页压缩为 Markdown，减少 70-90% 的 Token。

参数：

示例提示词： "Compress https://docs.example.com/getting-started"

scraper_crawl_url

使用 BFS 链接发现从起始 URL 爬取多个页面。

参数：

示例提示词： "Crawl the docs at https://docs.example.com with max 20 pages"

抓取模式

Stealth 模式需要 impit，Render 模式需要 playwright 作为 @robot-resources/scraper 的对等依赖项。

要求

• Node.js 18+

相关项目

• @robot-resources/scraper - 核心压缩库

• @robot-resources/router-mcp - 用于 LLM 成本优化的 MCP 服务器

• Robot Resources - 人力资源，但专为您的 AI 智能体服务

许可证

MIT