🌐 InfinityScrape MCP: Weltklasse-Webscraping & Deep OSINT-Intelligence-Suite

InfinityScrape MCP ist ein eigenständiger, produktionsreifer Model-Context-Protocol-Server (MCP), der KI-Modellen (LM Studio, Claude Desktop, Cursor, Open WebUI, Antigravity AI) unbegrenztes, Hochgeschwindigkeits- und Anti-Bot-resistentes Webscraping, dynamisches SPA-Rendering, sofortige YouTube-Transkription sowie präzise OSINT-/GEOINT-Standortermittlung bietet.

📑 Inhaltsverzeichnis

• 🌟 Warum InfinityScrape MCP?

• ⚡ Wettbewerbsvergleich

• 🏗️ Architekturübersicht

• 🚀 Schnellstart & 1-Klick-Installation

• 🔌 KI-Client-Integration (LM Studio, Claude, Cursor)

• 🛠️ Vollständiges 16-Tool-Referenzhandbuch

  • 1. Webscraping & Content-Crawling

  • 2. Medien-, Video- & Dokument-Parser

  • 3. Deep Public OSINT & Entitäts-Aufklärung

  • 4. Technische, Domain- & Netzwerk-Intelligenz

• 🧠 Autonomes KI-Agenten-Playbook (SKILL.md)

• 💻 Befehlszeilenschnittstelle (CLI)

• 🧪 Automatisierte Tests ausführen

• 📄 Lizenz & Autoren

Related MCP server: FineData MCP Server

🌟 Warum InfinityScrape MCP?

Standard-Webscraper scheitern bei modernen Websites oft an Cloudflare-Herausforderungen, starker clientseitiger JavaScript-Renderung, aufdringlichen Cookie-Consent-Modals und Rate Limits. InfinityScrape löst diese Probleme sofort einsatzbereit:

1. Zwei-Engine-Architektur:

   • Schnelle TLS-Engine (primp + httpx): Imitiert echte Chrome/Safari-Browser-TLS/JA3-Fingerprints und HTTP/2-Header, um Cloudflare- und Akamai-Herausforderungen in <100ms zu umgehen.

   • Dynamischer Headless-Browser (Playwright Chromium): Rendert komplexe SPAs (React, Vue, Next.js, Angular), führt unendliches Scrollen aus, klickt Elemente an und führt benutzerdefiniertes JavaScript aus.

2. Netzwerkebenen-Werbungs- & Tracker-Entfernung:

   • Fängt Netzwerkaufrufe an 35+ Werbenetzwerke und Tracking-Skripte ab und bricht sie ab (doubleclick, criteo, outbrain, google-analytics), bevor sie heruntergeladen werden. Dadurch verkürzt sich die Seitenladezeit um ~300% und der Speicherverbrauch sinkt um 70%.

   • Erkennt und zerlegt automatisch OneTrust-, Cookiebot- und Sticky-Overlay-Popups.

3. Zero-GPU-YouTube-Transkriptor:

   • Extrahiert vollständige Video-/Shorts-/Live-Transkripte mit Zeitstempeln ([MM:SS]) in <300ms direkt über HTTP-Streams, ohne Video herunterzuladen oder lokale GPU-Whisper-Modelle zu benötigen.

4. Tiefgreifender rekursiver Dokumentations-Crawler:

   • Asynchroner Breitensuche-Crawler (BFS) mit Domain-Sperrung und Pfadpräfix-Filterung, um vollständige Dokumentationsbäume in einheitliches Markdown zu aggregieren.

5. Moderne öffentliche OSINT- & GEOINT-Aufklärung:

   • Multi-Signal-Konfidenzbewertung (0% - 100%): Bewertet die Korrelation von Name + Stadt + Straße + PLZ + Organisation + Rolle, um entdeckte Dossiers zu ranken.

   • 25+ globale Plattform-Scanner: Scannt GitHub, GitLab, StackOverflow, Kaggle, HuggingFace, LeetCode, Codeforces, Dev.to, Medium, Substack, Google Scholar, ResearchGate, Reddit usw.

   • OpenStreetMap-GEOINT: Löst globale Adressen bis auf Straßen-/Postleitzahlebene mit GPS-Koordinaten und Verwaltungsgrenzen auf.

6. SQLite-persistente Caching-Schicht:

   • In-Memory- und SQLite-gestützter lokaler Cache für sofortige 0ms-Antworten bei wiederholten Abfragen mit konfigurierbarer TTL.

⚡ Wettbewerbsvergleich

🏗️ Architekturübersicht

                      ┌────────────────────────────────────────────────┐
                      │    AI Client (LM Studio / Claude / Cursor)     │
                      └───────────────────────┬────────────────────────┘
                                              │ JSON-RPC 2.0 (Stdio)
                                              ▼
                      ┌────────────────────────────────────────────────┐
                      │          InfinityScrape MCP Server             │
                      │                  (server.py)                   │
                      └───────┬────────────────┬───────────────┬───────┘
                              │                │               │
            ┌─────────────────┴─┐     ┌────────┴────────┐    ┌─┴────────────────┐
            ▼                   ▼     ▼                 ▼    ▼                  ▼
     [Fast TLS Engine]     [Playwright Engine]   [OSINT / GEOINT]   [Media & PDF Engines]
     • primp JA3/TLS       • Stealth Chromium    • 25+ Platform     • YouTube (<300ms)
     • HTTP/2 Stealth      • Network Ad Blocker    Scanners         • Remote PDF Stream
     • <100ms Execution    • Infinite Scroll     • OpenStreetMap    • Table Markdownify
                           • Auto-Dismiss CMPs   • Match Confidence
                                    │
                                    ▼
                      ┌────────────────────────────────┐
                      │ SQLite Caching Layer (0ms TTL) │
                      └────────────────────────────────┘

🚀 Schnellstart & 1-Klick-Installation

Voraussetzungen

• Python 3.10, 3.11 oder 3.12+ installiert.

• Windows, macOS oder Linux.

1-Klick-Setup:

Auf Windows:

Doppelklicken Sie auf install.bat oder führen Sie in PowerShell aus:

.\install.bat

Auf Linux / macOS:

chmod +x install.sh
./install.sh

Manuelles Setup (jede Plattform):

# 1. Create virtual environment
python -m venv .venv

# 2. Activate virtual environment
# Windows: .venv\Scripts\activate | Linux/Mac: source .venv/bin/activate

# 3. Install requirements & Playwright browser
pip install -r requirements.txt
playwright install chromium

🔌 KI-Client-Integration

1. LM Studio (v0.3+)

Gehen Sie zu Einstellungen ➔ Entwickler ➔ MCP-Server ➔ Konfiguration bearbeiten und fügen Sie hinzu:

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ],
      "cwd": "C:/path/to/infinity-scraper",
      "env": {
        "PYTHONUNBUFFERED": "1"
      }
    }
  }
}

2. Claude Desktop

Bearbeiten Sie %APPDATA%\Claude\claude_desktop_config.json (Windows) oder ~/Library/Application Support/Claude/claude_desktop_config.json (macOS):

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ]
    }
  }
}

3. Cursor IDE

In den Cursor-Einstellungen ➔ Features ➔ MCP-Server ➔ Neuen MCP-Server hinzufügen:

• Name: infinity-scraper

• Typ: command

• Befehl: C:/path/to/infinity-scraper/.venv/Scripts/python.exe -m infinity_scraper.server

🛠️ Vollständiges 23-Tool-Referenzhandbuch

1. Webscraping & Content-Crawling

2. Medien-, Social-, Video- & Dokument-Parser

3. Deep Public OSINT & Entitäts-Aufklärung

4. Technische, Domain- & Netzwerk-Intelligenz

Playbook für autonome KI-Agenten

InfinityScraper enthäat ein fortschrittliches Cogitive Reasining Framework (skils/infinity-scraper/SKILL.md) , das autonomen KI-Agenten beibringt, wie sie:

• Benutzeranfragen dynamisch in Such- und Standort-Hinweise zerlegen.

• ools über Muti-Tool-Ketten verknüpfen (z. B. Search ➔ Filter ➔ Batch Scrape oder Geocode ➔ Locality Dork ➔ Profile Extration).

• ei dynamischen React-Single-Page-Apps automatisch vom schnellen TLS-Modus auf den Playwright-Headles-Browser hochstufen.

👉 Lies das volständige Agent-Playbook: skils/infinity-scraper/SKILL.md

💻 Befehlszeilenschnittstelle (CLI)

Du kannst InfinityScraper auch direkt üer dein Terminal nutzen:

# Scrape a URL to Markdown
python -m infinity_scraper.cli scrape "https://example.com"

# Scrape dynamic SPA with infinite scroll
python -m infinity_scraper.cli scrape "https://news.ycombinator.com" --browser --scroll 3

# Live search and auto-scrape top results
python -m infinity_scraper.cli search "Quantum computing breakthroughs" --scrape --max 4

# Crawl documentation tree
python -m infinity_scraper.cli crawl "https://docs.python.org/3/library/asyncio.html" --pages 5 --depth 2

# Extract remote PDF
python -m infinity_scraper.cli pdf "https://example.com/report.pdf" --pages 10

Automatisierte ests ausführen

Führe die umfassende Suite aus Unit- und Integrationstests aus:

python -m tests.test_scraper

estabdeckung:

• ✅ ast TLS Impesonator

• ✅ Playwright Dynamic Browser

• ✅ DuckDuckGo Live Search

• ✅ HMTL Table to Markdown Converter

• ✅ Recursive BFS Documentation Crawler

• ✅ Zero-GPU YoTube Transcript Extration

• ✅ OSINT SSL, IP Intel & 25+ Platform Presence Check

📄 Lizenz & Urheberechtsschutz

Dieses Projek ist unter der MIT-Lizenz (mit verpflichtender Namennennung & DMCA-Durchsetzung) lizenziet.

[!IMPORTANT] Hinweis zur verpflichtenden Namennennung:

• Du kannst dieses Projek für kommerzielle oder persöniche Zwecke frei verwenden, modifizieren und integrieren.

• Die ursprüngiche Autoren-Namennennung und der Copyright-Hinweis MÜSSEN jedoch in allen Kopien, orks oder abgeleiteten Distributionen erhalten bleiben.

• Das Entfernen des Autorennamens/der redits und das erneute Hochladen/Pushen auf GitHub als eigene Arbeit ist strengstens untersagt und stelit eine Urheberechtsverletzung dar. Jedes rechstverletzende Repository unterliegt der sofortigen GitHub-DMCA-Takedown & Repository-Löschung sowie rechtichen Maßnamen.

• Autor / Ersteler: VirajVerse

• Repository: https://github.com/virajverse/infinity-scraper-mcp

• Siehe LICENSE für die volständigen rechtichen edingungen.