Oxylabs MCP Server

📖 Übersicht

Der Oxylabs MCP-Server schlägt eine Brücke zwischen KI-Modellen und dem Web. Er ermöglicht das Scrapen beliebiger URLs, das Rendern JavaScript-lastiger Seiten, das Extrahieren und Formatieren von Inhalten für die KI-Nutzung, das Umgehen von Anti-Scraping-Maßnahmen und den Zugriff auf geografisch eingeschränkte Webdaten aus über 195 Ländern.

Diese Implementierung nutzt das Model Context Protocol (MCP), um eine sichere, standardisierte Möglichkeit für KI-Assistenten zur Interaktion mit Webinhalten zu schaffen.

✨ Hauptmerkmale

• Extrahieren Sie Daten aus jeder URL, einschließlich komplexer Single-Page-Anwendungen
• Vollständiges Rendern dynamischer Websites mithilfe der Headless-Browser-Unterstützung
• Wählen Sie vollständiges JavaScript-Rendering, nur HTML oder keines
• Emulieren Sie mobile und Desktop-Ansichtsfenster für realistisches Rendering
• Automatisches Bereinigen und Konvertieren von HTML in Markdown zur Verbesserung der Lesbarkeit
• Verwenden Sie automatisierte Parser für beliebte Ziele wie Google, Amazon usw.
• Umgehen Sie anspruchsvolle Bot-Schutzsysteme mit hoher Erfolgsquote
• Scrapen Sie zuverlässig selbst die komplexesten Websites
• Erhalten Sie automatisch rotierende IPs aus einem Proxy-Pool, der über 195 Länder abdeckt
• Legen Sie bei Bedarf Rendering- und Parsing-Optionen fest
• Daten direkt in KI-Modelle oder Analysetools einspeisen
• Funktioniert unter macOS, Windows und Linux
• Umfassende Fehlerbehandlung und -berichterstattung
• Intelligente Ratenbegrenzung und Anforderungsverwaltung

💡 Beispielabfragen

Wenn Sie den MCP-Server mit Claude eingerichtet haben, können Sie Anfragen stellen wie:

• Könnten Sie die Seite https://www.google.com/search?q=ai scrapen?
• Scrape https://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651V mit aktiviertem Parsen
• Scrape https://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0 mit aktiviertem Parsen und Rendern
• Verwenden Sie den Web-Unblocker mit Render zum Scrapen https://www.bestbuy.com/site/top-deals/all-electronics-on-sale/pcmcat1674241939957.c

✅ Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

• Oxylabs-Konto : Erhalten Sie Ihren Benutzernamen und Ihr Passwort von Oxylabs (1-wöchige kostenlose Testversion verfügbar)

Grundlegende Verwendung

Über die Smithery-CLI:

• Node.js (v16+)
• npx -Befehlszeilentool

Über UV:

• uv Paketmanager – installieren Sie ihn mithilfe dieser Anleitung

Lokales/Entwickler-Setup

• Python 3.12+
• uv Paketmanager – installieren Sie ihn mithilfe dieser Anleitung

🧩 API-Parameter

Der Oxylabs MCP-Server unterstützt diese Parameter:

⚙️ Grundlegende Einrichtungsanweisungen

Installation über Smithery

Oxylabs MCP-Server automatisch über Smithery installieren:

Liste der Kunden, die derzeit von Oxylabs unterstützt werden:

• Claude
• Cursor

Manuelle MCP-Konfigurationsoptionen

1. Konfiguration mit uvx . Installiert den CLI-Client und den Oxylabs MCP-Server, der Aufrufe direkt an die Oxylabs-API durchführt. Empfohlene und derzeit stabilste Option.
   { "mcpServers": { "oxylabs_scraper_uvx": { "command": "uvx", "args": [ "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }
2. Konfiguration mit npx . Installiert den Smithery CLI-Client, der Aufrufe an den in Smithery gehosteten Oxylabs MCP-Server durchführt.
   { "mcpServers": { "oxylabs-mcp": { "command": "npx", "args": [ "-y", "@smithery/cli@latest", "run", "@oxylabs/oxylabs-mcp", "--config", "\"{\\\"oxylabsUsername\\\":\\\"OXYLABS_USERNAME\\\",\\\"oxylabsPassword\\\":\\\"OXYLABS_PASSWORD\\\"}\"" ] } } }
3. Konfiguration mit uv . Installiert den CLI-Client und den Oxylabs MCP-Server, der auf den lokalen Code verweist. Für die lokale Entwicklung.
   { "mcpServers": { "oxylabs_scraper": { "command": "uv", "args": [ "--directory", "/<Absolute-path-to-folder>/oxylabs-mcp", "run", "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }

[!HINWEIS] Wenn Sie das Dienstprogramm uvx nicht haben, müssen Sie es zuerst mit brew install uv installieren.

[!TIP] Wenn bei uvx Fehler auftreten, versuchen Sie, den vollständigen Pfad zu uvx im command einzugeben. Beispiel: /Users/my-user/.local/bin/uvx . Wenn Sie Windows verwenden und Probleme mit Cursor auftreten, lesen Sie die hier beschriebenen Richtlinien.

Manuelle Einrichtung mit Claude Desktop

Navigieren Sie zu Claude → Einstellungen → Entwickler → Konfiguration bearbeiten und fügen Sie eine der oben genannten Konfigurationen zur Datei claude_desktop_config.json hinzu.

Manuelle Einrichtung mit Cursor AI

Navigieren Sie zu Cursor → Einstellungen → Cursoreinstellungen → MCP . Klicken Sie auf Neuen globalen MCP-Server hinzufügen und fügen Sie eine der oben genannten Konfigurationen hinzu.

💻 Anweisungen zur lokalen/Entwickler-Einrichtung

Repository klonen

Abhängigkeiten installieren

Installieren Sie die MCP-Serverabhängigkeiten:

🐞 Debuggen

Greifen Sie dann unter http://localhost:5173 auf den MCP Inspector zu. Möglicherweise müssen Sie Ihren Benutzernamen und Ihr Kennwort als Umgebungsvariablen im Inspector unter OXYLABS_USERNAME und OXYLABS_PASSWORD hinzufügen.

Lizenz

Dieses Projekt ist unter der MIT-Lizenz lizenziert.

Über Oxylabs

Oxylabs wurde 2015 gegründet und ist eine marktführende Plattform zur Erfassung von Webinformationen. Sie basiert auf den höchsten Geschäfts-, Ethik- und Compliance-Standards und ermöglicht es Unternehmen weltweit, datenbasierte Erkenntnisse zu gewinnen.