ScraperAPI MCP 服务器

ScraperAPI MCP 服务器使 LLM 客户端能够使用 ScraperAPI 服务检索和处理网页抓取请求。

目录

• 功能

• 架构

• 安装

• API 参考

• 配置

  • Claude Desktop App & Claude Code

  • Cursor

  • Windsurf

  • Cline

• 开发

功能

• 完全实现模型上下文协议 (Model Context Protocol) 规范

• 与 ScraperAPI 无缝集成以进行网页抓取

• 使用 Python 或 Docker 即可轻松设置

架构

          ┌───────────────┐     ┌───────────────────────┐     ┌───────────────┐
          │  LLM Client   │────▶│  Scraper MCP Server   │────▶│    AI Model   │
          └───────────────┘     └───────────────────────┘     └───────────────┘
                                            │
                                            ▼
                                  ┌──────────────────┐
                                  │  ScraperAPI API  │
                                  └──────────────────┘

安装

ScraperAPI MCP 服务器旨在作为您机器上的本地服务器运行，您的 LLM 客户端在配置后会自动启动它。

先决条件

• Python 3.11+

• Docker (可选)

使用 Python

安装软件包：

pip install scraperapi-mcp-server

将此内容添加到您的客户端配置文件中：

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "python",
      "args": ["-m", "scraperapi_mcp_server"],
      "env": {
        "API_KEY": "<YOUR_SCRAPERAPI_API_KEY>"
      }
    }
  }
}

使用 Docker

将此内容添加到您的客户端配置文件中：

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "-e",
        "API_KEY=${API_KEY}",
        "--rm",
        "scraperapi-mcp-server"]
    }
  }
}

which <YOUR_COMMAND>

API 参考

可用工具

• scrape

  • 使用 ScraperAPI 从互联网抓取 URL

  • 参数：

    • url (字符串，必需)：要抓取的 URL

    • render (布尔值，可选)：是否使用 JavaScript 渲染页面。默认为 False。仅当页面需要 JavaScript 渲染才能显示其内容时，才设置为 True。

    • country_code (字符串，可选)：激活国家/地区地理定位（ISO 2 位代码）

    • premium (布尔值，可选)：激活高级住宅和移动 IP

    • ultra_premium (布尔值，可选)：激活高级绕过机制。不能与 premium 同时使用

    • device_type (字符串，可选)：设置请求使用 mobile（移动端）或 desktop（桌面端）用户代理

    • output_format (字符串，可选)：允许您指示 API 响应的文件类型应为何种格式。

    • autoparse (布尔值，可选)：为特定网站激活自动解析。默认为 False。仅当您希望输出格式为 csv 或 json 时，才设置为 True。

  • 返回：以字符串形式返回抓取的内容

提示词模板

• 请抓取此 URL <URL>。如果您收到 500 服务器错误，请识别该网站的地理定位，并添加相应的 country_code 以克服地理限制。如果错误持续存在，请通过添加 premium=true 将请求升级为使用高级代理。对于持续的失败，请激活 ultra_premium=true 以使用增强的反屏蔽措施。

• 您能抓取 URL <URL> 以提取 <SPECIFIC_DATA> 吗？如果请求返回缺失/不完整的 <SPECIFIC_DATA>，请设置 render=true 以启用 JS 渲染。

配置

设置

• API_KEY：您的 ScraperAPI API 密钥。

配置 Claude Desktop App & Claude Code

Claude Desktop:

1. 打开 Claude Desktop 并点击设置图标

2. 选择“Developer”（开发者）选项卡

3. 点击“Edit Config”（编辑配置）并粘贴 JSON 配置文件

Claude Code:

1. 使用 JSON 配置文件 将服务器手动添加到您的 .claude/settings.json 中，或者运行：

   claude mcp add scraperapi -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> -- python -m scraperapi_mcp_server

配置 Cursor 编辑器

1. 打开 Cursor

2. 访问设置菜单

3. 打开 Cursor 设置

4. 转到“Tools & Integrations”（工具与集成）部分

5. 点击“+ Add MCP Server”（添加 MCP 服务器）

6. 选择“Manual”（手动）并粘贴 JSON 配置文件

更多信息请见 此处

配置 Windsurf 编辑器

1. 打开 Windsurf

2. 访问设置菜单

3. 点击 Cascade 设置

4. 点击 MCP 服务器部分

5. 点击齿轮图标，mcp_config.json 文件将会打开

6. 粘贴 JSON 配置文件

更多信息请见 此处

配置 Cline (VS Code 扩展)

1. 打开 VS Code 并点击活动栏中的 Cline 图标以打开 Cline 面板

2. 点击 Cline 面板顶部导航栏中的 MCP 服务器图标

3. 选择“Configure”（配置）选项卡

4. 点击面板底部的“Configure MCP Servers”（配置 MCP 服务器）——这将打开 cline_mcp_settings.json

5. 粘贴 JSON 配置文件

更多信息请见 此处

开发

本地设置

1. 克隆仓库：

   git clone https://github.com/scraperapi/scraperapi-mcp
   cd scraperapi-mcp

2. 安装依赖：

   • 使用 Poetry：

     poetry install

   • 使用 pip：

     # Create virtual environment and activate it
     python -m venv .venv
     source .venv/bin/activate # MacOS/Linux
     # OR
     .venv/Scripts/activate # Windows
     
     # Install the local package in editable mode
     pip install -e .

   • 使用 Docker：

     # Build the Docker image locally
     docker build -t scraperapi-mcp-server .

运行服务器

• 使用 Python：

  python -m scraperapi_mcp_server

• 使用 Docker：

  # Run the Docker container with your API key
  docker run -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> scraperapi-mcp-server

调试

python3 -m scraperapi_mcp_server --debug

测试

本项目使用 pytest 进行测试。

安装测试依赖

• 使用 Poetry：

  poetry install --with dev

• 使用 pip：

  pip install -e .
  pip install pytest pytest-mock pytest-asyncio

运行测试

# Run All Tests
pytest

# Run Specific Test
pytest <TEST_FILE_PATH>