Servidor MCP de ScraperAPI

El servidor MCP de ScraperAPI permite a los clientes LLM recuperar y procesar solicitudes de web scraping utilizando los servicios de ScraperAPI.

Tabla de contenidos

• Características

• Arquitectura

• Instalación

• Referencia de la API

• Configuración

  • Aplicación Claude Desktop y Claude Code

  • Cursor

  • Windsurf

  • Cline

• Desarrollo

Características

• Implementación completa de la especificación del Protocolo de Contexto de Modelo (MCP)

• Integración perfecta con ScraperAPI para web scraping

• Configuración sencilla con Python o Docker

Arquitectura

          ┌───────────────┐     ┌───────────────────────┐     ┌───────────────┐
          │  LLM Client   │────▶│  Scraper MCP Server   │────▶│    AI Model   │
          └───────────────┘     └───────────────────────┘     └───────────────┘
                                            │
                                            ▼
                                  ┌──────────────────┐
                                  │  ScraperAPI API  │
                                  └──────────────────┘

Instalación

El servidor MCP de ScraperAPI está diseñado para ejecutarse como un servidor local en su máquina; su cliente LLM lo iniciará automáticamente cuando esté configurado.

Requisitos previos

• Python 3.11+

• Docker (opcional)

Usando Python

Instale el paquete:

pip install scraperapi-mcp-server

Añada esto a su archivo de configuración del cliente:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "python",
      "args": ["-m", "scraperapi_mcp_server"],
      "env": {
        "API_KEY": "<YOUR_SCRAPERAPI_API_KEY>"
      }
    }
  }
}

Usando Docker

Añada esto a su archivo de configuración del cliente:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "-e",
        "API_KEY=${API_KEY}",
        "--rm",
        "scraperapi-mcp-server"]
    }
  }
}

which <YOUR_COMMAND>

Referencia de la API

Herramientas disponibles

• scrape

  • Extraer una URL de Internet usando ScraperAPI

  • Parámetros:

    • url (string, requerido): URL a extraer

    • render (boolean, opcional): Si se debe renderizar la página usando JavaScript. El valor predeterminado es False. Establézcalo en True solo si la página requiere renderizado de JavaScript para mostrar su contenido.

    • country_code (string, opcional): Activar la segmentación geográfica por país (código ISO de 2 letras)

    • premium (boolean, opcional): Activar proxies residenciales y móviles premium

    • ultra_premium (boolean, opcional): Activar mecanismos avanzados de omisión. No se puede combinar con premium

    • device_type (string, opcional): Configurar la solicitud para usar agentes de usuario mobile o desktop

    • output_format (string, opcional): Le permite indicar a la API cuál debe ser el tipo de archivo de respuesta.

    • autoparse (boolean, opcional): Activar el análisis automático para sitios web seleccionados. El valor predeterminado es False. Establézcalo en True solo si desea que el formato de salida sea csv o json.

  • Devuelve: El contenido extraído como una cadena

Plantillas de prompts

• Por favor, extrae esta URL <URL>. Si recibes un error de servidor 500, identifica la segmentación geográfica del sitio web y añade el country_code correspondiente para superar las restricciones geográficas. Si los errores continúan, actualiza la solicitud para usar proxies premium añadiendo premium=true. Para fallos persistentes, activa ultra_premium=true para usar medidas anti-bloqueo mejoradas.

• ¿Puedes extraer la URL <URL> para obtener <SPECIFIC_DATA>? Si la solicitud devuelve <SPECIFIC_DATA> faltante o incompleta, establece render=true para habilitar el renderizado JS.

Configuración

Ajustes

• API_KEY: Su clave de API de ScraperAPI.

Configurar la aplicación Claude Desktop y Claude Code

Claude Desktop:

1. Abra Claude Desktop y haga clic en el icono de configuración

2. Seleccione la pestaña "Developer"

3. Haga clic en "Edit Config" y pegue el archivo de configuración JSON

Claude Code:

1. Añada el servidor manualmente a su .claude/settings.json con el archivo de configuración JSON, o ejecute:

   claude mcp add scraperapi -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> -- python -m scraperapi_mcp_server

Configurar el editor Cursor

1. Abra Cursor

2. Acceda al menú de configuración (Settings)

3. Abra la configuración de Cursor

4. Vaya a la sección Tools & Integrations

5. Haga clic en '+ Add MCP Server'

6. Elija Manual y pegue el archivo de configuración JSON

Más información aquí

Configurar el editor Windsurf

1. Abra Windsurf

2. Acceda al menú de configuración (Settings)

3. Haga clic en la configuración de Cascade

4. Haga clic en la sección del servidor MCP

5. Haga clic en el icono del engranaje, se abrirá el archivo mcp_config.json

6. Pegue el archivo de configuración JSON

Más información aquí

Configurar Cline (extensión de VS Code)

1. Abra VS Code y haga clic en el icono de Cline en la barra de actividades para abrir el panel de Cline

2. Haga clic en el icono de servidores MCP en la barra de navegación superior del panel de Cline

3. Seleccione la pestaña "Configure"

4. Haga clic en "Configure MCP Servers" en la parte inferior del panel; esto abrirá cline_mcp_settings.json

5. Pegue el archivo de configuración JSON

Más información aquí

Desarrollo

Configuración local

1. Clonar el repositorio:

   git clone https://github.com/scraperapi/scraperapi-mcp
   cd scraperapi-mcp

2. Instalar dependencias:

   • Usando Poetry:

     poetry install

   • Usando pip:

     # Create virtual environment and activate it
     python -m venv .venv
     source .venv/bin/activate # MacOS/Linux
     # OR
     .venv/Scripts/activate # Windows
     
     # Install the local package in editable mode
     pip install -e .

   • Usando Docker:

     # Build the Docker image locally
     docker build -t scraperapi-mcp-server .

Ejecutar el servidor

• Usando Python:

  python -m scraperapi_mcp_server

• Usando Docker:

  # Run the Docker container with your API key
  docker run -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> scraperapi-mcp-server

Depuración

python3 -m scraperapi_mcp_server --debug

Pruebas

Este proyecto utiliza pytest para las pruebas.

Instalar dependencias de prueba

• Usando Poetry:

  poetry install --with dev

• Usando pip:

  pip install -e .
  pip install pytest pytest-mock pytest-asyncio

Ejecutar pruebas

# Run All Tests
pytest

# Run Specific Test
pytest <TEST_FILE_PATH>