Scraper.is MCP

Scraper.is的模型上下文协议 (MCP)集成 - 适用于 AI 助手的强大网络抓取工具。

该软件包允许人工智能助手通过 MCP 协议抓取网络内容，从而使他们能够从网络访问最新信息。

特征

• 🌐网页抓取：从任何网站提取内容

• 📸截图：捕获网页的视觉表现

• 📄多种格式：以 markdown、HTML 或 JSON 获取内容

• 🔄进度更新：抓取操作期间的实时进度报告

• 🔌 MCP 集成：与兼容 MCP 的 AI 助手无缝集成

Related MCP server: Fetch MCP Server

安装

npm install -g scraperis-mcp

或者用纱线：

yarn global add scraperis-mcp

先决条件

您需要一个 Scraper.is API 密钥才能使用此包。

获取您的 API 密钥

1. 在scraper.is注册或登录

2. 导航到仪表板中的 API 密钥部分： https://www.scraper.is/dashboard/apikeys

3. 创建新的 API 密钥或复制现有密钥

4. 请妥善保管此密钥，因为您将需要它来使用此包

用法

环境设置

使用您的 Scraper.is API 密钥创建一个.env文件：

SCRAPERIS_API_KEY=your_api_key_here

Claude 桌面集成

要将此软件包与 Claude Desktop 一起使用：

1. 全局安装包：

   npm install -g scraperis-mcp

2. 将以下配置添加到您的claude_desktop_config.json文件中：

   {
     "mcpServers": {
       "scraperis_scraper": {
         "command": "scraperis-mcp",
         "args": [],
         "env": {
           "SCRAPERIS_API_KEY": "your-api-key-here",
           "DEBUG": "*"
         }
       }
     }
   }

3. 将your-api-key-here替换为您实际的 Scraper.is API 密钥。

4. 重新启动 Claude Desktop 以应用更改。

使用 MCP Inspector 运行

对于开发和测试，您可以使用 MCP Inspector：

npx @modelcontextprotocol/inspector scraperis-mcp

与人工智能助手集成

此软件包旨在与支持模型上下文协议 (MCP) 的 AI 助手配合使用。正确配置后，AI 助手可以使用以下工具：

刮擦工具

scrape工具允许人工智能从网站提取内容。它支持多种格式：

• markdown ：以 markdown 格式返回内容

• html ：以 HTML 格式返回内容

• screenshot ：返回网页截图

• json ：返回 JSON 格式的结构化数据

人工智能的示例提示：

Can you scrape the latest news from techcrunch.com and summarize it for me?

API 参考

工具

刮

根据提示从网页上抓取内容。

参数：

• prompt （字符串）：描述要抓取的内容的提示，包括 URL

• format （字符串）：返回内容的格式（ markdown 、 html 、 screenshot 、 json 、 quick ）

例子：

{
  "prompt": "Get me the top 10 products from producthunt.com",
  "format": "markdown"
}

发展

设置

1. 克隆存储库：

   git clone https://github.com/Ai-Quill/scraperis-mcp.git
   cd scraperis-mcp

2. 安装依赖项：

   npm install

3. 构建项目：

   npm run build

脚本

• npm run build ：构建项目

• npm run watch ：观察变化并重建

• npm run dev ：使用 MCP Inspector 运行以进行开发

• npm run test ：运行测试

• npm run lint ：运行 ESLint

贡献

欢迎贡献代码！欢迎提交 Pull 请求。

执照

该项目根据 MIT 许可证获得许可 - 有关详细信息，请参阅 LICENSE 文件。

致谢

• 模型上下文协议

• Scraper.is