MCP-сервер ScraperAPI

MCP-сервер ScraperAPI позволяет LLM-клиентам получать и обрабатывать запросы на веб-скрейпинг с использованием сервисов ScraperAPI.

Содержание

• Возможности

• Архитектура

• Установка

• Справочник API

• Конфигурация

  • Приложение Claude Desktop и Claude Code

  • Cursor

  • Windsurf

  • Cline

• Разработка

Возможности

• Полная реализация спецификации Model Context Protocol

• Бесшовная интеграция со ScraperAPI для веб-скрейпинга

• Простая настройка с помощью Python или Docker

Архитектура

          ┌───────────────┐     ┌───────────────────────┐     ┌───────────────┐
          │  LLM Client   │────▶│  Scraper MCP Server   │────▶│    AI Model   │
          └───────────────┘     └───────────────────────┘     └───────────────┘
                                            │
                                            ▼
                                  ┌──────────────────┐
                                  │  ScraperAPI API  │
                                  └──────────────────┘

Установка

MCP-сервер ScraperAPI предназначен для работы в качестве локального сервера на вашем компьютере; ваш LLM-клиент запустит его автоматически при настройке.

Предварительные требования

• Python 3.11+

• Docker (опционально)

Использование Python

Установите пакет:

pip install scraperapi-mcp-server

Добавьте это в файл конфигурации вашего клиента:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "python",
      "args": ["-m", "scraperapi_mcp_server"],
      "env": {
        "API_KEY": "<YOUR_SCRAPERAPI_API_KEY>"
      }
    }
  }
}

Использование Docker

Добавьте это в файл конфигурации вашего клиента:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "-e",
        "API_KEY=${API_KEY}",
        "--rm",
        "scraperapi-mcp-server"]
    }
  }
}

which <YOUR_COMMAND>

Справочник API

Доступные инструменты

• scrape

  • Парсинг URL из интернета с помощью ScraperAPI

  • Параметры:

    • url (строка, обязательно): URL для парсинга

    • render (логический, опционально): Нужно ли рендерить страницу с помощью JavaScript. По умолчанию False. Установите True только если страница требует рендеринга JavaScript для отображения контента.

    • country_code (строка, опционально): Активация геотаргетинга по стране (ISO-код из 2 букв)

    • premium (логический, опционально): Активация премиальных резидентских и мобильных IP-адресов

    • ultra_premium (логический, опционально): Активация продвинутых механизмов обхода защиты. Нельзя использовать вместе с premium

    • device_type (строка, опционально): Установка типа устройства для запроса: mobile или desktop (user agents)

    • output_format (строка, опционально): Позволяет указать API, каким должен быть тип файла ответа.

    • autoparse (логический, опционально): Активация автоматического парсинга для выбранных веб-сайтов. По умолчанию False. Установите True только если вы хотите получить вывод в формате csv или json.

  • Возвращает: Содержимое страницы в виде строки

Шаблоны промптов

• Пожалуйста, выполни парсинг этого URL <URL>. Если вы получили ошибку сервера 500, определите геотаргетинг сайта и добавьте соответствующий country_code для преодоления географических ограничений. Если ошибки продолжаются, повысьте уровень запроса до использования премиальных прокси, добавив premium=true. При постоянных сбоях активируйте ultra_premium=true для использования усиленных мер антиблокировки.

• Можешь выполнить парсинг URL <URL>, чтобы извлечь <SPECIFIC_DATA>? Если запрос возвращает отсутствующие/неполные <SPECIFIC_DATA>, установи render=true для включения JS-рендеринга.

Конфигурация

Настройки

• API_KEY: Ваш API-ключ ScraperAPI.

Настройка Claude Desktop App и Claude Code

Claude Desktop:

1. Откройте Claude Desktop и нажмите на иконку настроек

2. Выберите вкладку "Developer"

3. Нажмите "Edit Config" и вставьте JSON-файл конфигурации

Claude Code:

1. Добавьте сервер вручную в ваш .claude/settings.json с помощью JSON-файла конфигурации или выполните:

   claude mcp add scraperapi -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> -- python -m scraperapi_mcp_server

Настройка Cursor Editor

1. Откройте Cursor

2. Перейдите в меню настроек

3. Откройте настройки Cursor

4. Перейдите в раздел Tools & Integrations

5. Нажмите '+ Add MCP Server'

6. Выберите Manual и вставьте JSON-файл конфигурации

Подробнее здесь

Настройка Windsurf Editor

1. Откройте Windsurf

2. Перейдите в меню настроек

3. Нажмите на настройки Cascade

4. Нажмите на раздел MCP server

5. Нажмите на иконку шестеренки, откроется файл mcp_config.json

6. Вставьте JSON-файл конфигурации

Подробнее здесь

Настройка Cline (расширение для VS Code)

1. Откройте VS Code и нажмите на иконку Cline на панели активности, чтобы открыть панель Cline

2. Нажмите на иконку MCP Servers на верхней панели навигации панели Cline

3. Выберите вкладку "Configure"

4. Нажмите "Configure MCP Servers" в нижней части панели — это откроет cline_mcp_settings.json

5. Вставьте JSON-файл конфигурации

Подробнее здесь

Разработка

Локальная настройка

1. Клонируйте репозиторий:

   git clone https://github.com/scraperapi/scraperapi-mcp
   cd scraperapi-mcp

2. Установите зависимости:

   • Используя Poetry:

     poetry install

   • Используя pip:

     # Create virtual environment and activate it
     python -m venv .venv
     source .venv/bin/activate # MacOS/Linux
     # OR
     .venv/Scripts/activate # Windows
     
     # Install the local package in editable mode
     pip install -e .

   • Используя Docker:

     # Build the Docker image locally
     docker build -t scraperapi-mcp-server .

Запуск сервера

• Используя Python:

  python -m scraperapi_mcp_server

• Используя Docker:

  # Run the Docker container with your API key
  docker run -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> scraperapi-mcp-server

Отладка

python3 -m scraperapi_mcp_server --debug

Тестирование

Этот проект использует pytest для тестирования.

Установка зависимостей для тестирования

• Используя Poetry:

  poetry install --with dev

• Используя pip:

  pip install -e .
  pip install pytest pytest-mock pytest-asyncio

Запуск тестов

# Run All Tests
pytest

# Run Specific Test
pytest <TEST_FILE_PATH>