ScraperAPI MCP-Server

Der ScraperAPI MCP-Server ermöglicht es LLM-Clients, Web-Scraping-Anfragen mithilfe der ScraperAPI-Dienste abzurufen und zu verarbeiten.

Inhaltsverzeichnis

• Funktionen

• Architektur

• Installation

• API-Referenz

• Konfiguration

  • Claude Desktop App & Claude Code

  • Cursor

  • Windsurf

  • Cline

• Entwicklung

Funktionen

• Vollständige Implementierung der Model Context Protocol-Spezifikation

• Nahtlose Integration mit ScraperAPI für Web-Scraping

• Einfache Einrichtung mit Python oder Docker

Architektur

          ┌───────────────┐     ┌───────────────────────┐     ┌───────────────┐
          │  LLM Client   │────▶│  Scraper MCP Server   │────▶│    AI Model   │
          └───────────────┘     └───────────────────────┘     └───────────────┘
                                            │
                                            ▼
                                  ┌──────────────────┐
                                  │  ScraperAPI API  │
                                  └──────────────────┘

Installation

Der ScraperAPI MCP-Server ist so konzipiert, dass er als lokaler Server auf Ihrem Computer läuft; Ihr LLM-Client startet ihn bei entsprechender Konfiguration automatisch.

Voraussetzungen

• Python 3.11+

• Docker (optional)

Verwendung von Python

Installieren Sie das Paket:

pip install scraperapi-mcp-server

Fügen Sie dies Ihrer Client-Konfigurationsdatei hinzu:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "python",
      "args": ["-m", "scraperapi_mcp_server"],
      "env": {
        "API_KEY": "<YOUR_SCRAPERAPI_API_KEY>"
      }
    }
  }
}

Verwendung von Docker

Fügen Sie dies Ihrer Client-Konfigurationsdatei hinzu:

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "-e",
        "API_KEY=${API_KEY}",
        "--rm",
        "scraperapi-mcp-server"]
    }
  }
}

which <YOUR_COMMAND>

API-Referenz

Verfügbare Tools

• scrape

  • Scrapen einer URL aus dem Internet mit ScraperAPI

  • Parameter:

    • url (string, erforderlich): Zu scrapende URL

    • render (boolean, optional): Ob die Seite mit JavaScript gerendert werden soll. Standardmäßig False. Setzen Sie dies nur auf True, wenn die Seite JavaScript-Rendering benötigt, um ihren Inhalt anzuzeigen.

    • country_code (string, optional): Aktivieren Sie Geo-Targeting für Länder (ISO 2-Buchstaben-Code)

    • premium (boolean, optional): Aktivieren Sie Premium-Residential- und Mobil-IPs

    • ultra_premium (boolean, optional): Aktivieren Sie erweiterte Umgehungsmechanismen. Kann nicht mit premium kombiniert werden

    • device_type (string, optional): Legen Sie fest, dass die Anfrage mobile oder desktop User-Agents verwendet

    • output_format (string, optional): Ermöglicht es Ihnen, die API anzuweisen, welcher Dateityp die Antwort sein soll.

    • autoparse (boolean, optional): Aktivieren Sie das automatische Parsen für ausgewählte Websites. Standardmäßig False. Setzen Sie dies nur auf True, wenn Sie das Ausgabeformat in csv oder json wünschen.

  • Rückgabe: Der gescrapte Inhalt als String

Prompt-Vorlagen

• Bitte scrapen Sie diese URL <URL>. Wenn Sie einen 500-Serverfehler erhalten, identifizieren Sie das Geo-Targeting der Website und fügen Sie den entsprechenden country_code hinzu, um Geo-Beschränkungen zu überwinden. Wenn Fehler weiterhin bestehen, führen Sie ein Upgrade der Anfrage durch, um Premium-Proxys zu verwenden, indem Sie premium=true hinzufügen. Bei anhaltenden Fehlern aktivieren Sie ultra_premium=true, um verbesserte Anti-Blocking-Maßnahmen zu nutzen.

• Können Sie die URL <URL> scrapen, um <SPECIFIC_DATA> zu extrahieren? Wenn die Anfrage fehlende/unvollständige <SPECIFIC_DATA> zurückgibt, setzen Sie render=true, um JS-Rendering zu aktivieren.

Konfiguration

Einstellungen

• API_KEY: Ihr ScraperAPI-API-Schlüssel.

Konfiguration der Claude Desktop App & Claude Code

Claude Desktop:

1. Öffnen Sie Claude Desktop und klicken Sie auf das Einstellungssymbol

2. Wählen Sie den Tab "Developer"

3. Klicken Sie auf "Edit Config" und fügen Sie die JSON-Konfigurationsdatei ein

Claude Code:

1. Fügen Sie den Server manuell zu Ihrer .claude/settings.json mit der JSON-Konfigurationsdatei hinzu oder führen Sie Folgendes aus:

   claude mcp add scraperapi -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> -- python -m scraperapi_mcp_server

Konfiguration des Cursor-Editors

1. Öffnen Sie Cursor

2. Greifen Sie auf das Einstellungsmenü zu

3. Öffnen Sie die Cursor-Einstellungen

4. Gehen Sie zum Bereich "Tools & Integrations"

5. Klicken Sie auf '+ Add MCP Server'

6. Wählen Sie "Manual" und fügen Sie die JSON-Konfigurationsdatei ein

Mehr dazu hier

Konfiguration des Windsurf-Editors

1. Öffnen Sie Windsurf

2. Greifen Sie auf das Einstellungsmenü zu

3. Klicken Sie auf die Cascade-Einstellungen

4. Klicken Sie auf den Bereich für MCP-Server

5. Klicken Sie auf das Zahnradsymbol, die Datei mcp_config.json wird geöffnet

6. Fügen Sie die JSON-Konfigurationsdatei ein

Mehr dazu hier

Konfiguration von Cline (VS Code-Erweiterung)

1. Öffnen Sie VS Code und klicken Sie auf das Cline-Symbol in der Aktivitätsleiste, um das Cline-Panel zu öffnen

2. Klicken Sie auf das MCP-Server-Symbol in der oberen Navigationsleiste des Cline-Bereichs

3. Wählen Sie den Tab "Configure"

4. Klicken Sie unten im Bereich auf "Configure MCP Servers" — dies öffnet cline_mcp_settings.json

5. Fügen Sie die JSON-Konfigurationsdatei ein

Mehr dazu hier

Entwicklung

Lokale Einrichtung

1. Klonen Sie das Repository:

   git clone https://github.com/scraperapi/scraperapi-mcp
   cd scraperapi-mcp

2. Installieren Sie Abhängigkeiten:

   • Mit Poetry:

     poetry install

   • Mit pip:

     # Create virtual environment and activate it
     python -m venv .venv
     source .venv/bin/activate # MacOS/Linux
     # OR
     .venv/Scripts/activate # Windows
     
     # Install the local package in editable mode
     pip install -e .

   • Mit Docker:

     # Build the Docker image locally
     docker build -t scraperapi-mcp-server .

Starten Sie den Server

• Mit Python:

  python -m scraperapi_mcp_server

• Mit Docker:

  # Run the Docker container with your API key
  docker run -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> scraperapi-mcp-server

Debugging

python3 -m scraperapi_mcp_server --debug

Testen

Dieses Projekt verwendet pytest zum Testen.

Test-Abhängigkeiten installieren

• Mit Poetry:

  poetry install --with dev

• Mit pip:

  pip install -e .
  pip install pytest pytest-mock pytest-asyncio

Tests ausführen

# Run All Tests
pytest

# Run Specific Test
pytest <TEST_FILE_PATH>