🌐 InfinityScrape MCP: Suite de scraping web y OSINT profundo de clase mundial

InfinityScrape MCP es un servidor Model Context Protocol (MCP) independiente y de nivel de producción, diseñado para ofrecer a los modelos de IA (LM Studio, Claude Desktop, Cursor, Open WebUI, Antigravity AI) scraping web ilimitado, de alta velocidad y resistente a bots, renderizado dinámico de SPA, transcripción instantánea de YouTube e inteligencia de localización OSINT / GEOINT de precisión.

📑 Índice

• 🌟 ¿Por qué InfinityScrape MCP?

• ⚡ Comparativa competitiva

• 🏗️ Visión general de la arquitectura

• 🚀 Inicio rápido e instalación con 1 clic

• 🔌 Integración con clientes de IA (LM Studio, Claude, Cursor)

• 🛠️ Guía de referencia completa de las 16 herramientas

  • 1. Scraping web y rastreo de contenido

  • 2. Analizadores de medios, vídeo y documentos

  • 3. OSINT público profundo y reconocimiento de entidades

  • 4. Inteligencia técnica, de dominios y de red

• 🧠 Manual del agente de IA autónomo (SKILL.md)

• 💻 Interfaz de línea de comandos (CLI)

• 🧪 Ejecución de pruebas automatizadas

• 📄 Licencia y autores

Related MCP server: FineData MCP Server

🌟 ¿Por qué InfinityScrape MCP?

Los scrapers web estándar suelen fallar con los sitios web modernos debido a los retos de Cloudflare, el renderizado intensivo de JavaScript del lado del cliente, los modales intrusivos de consentimiento de cookies y los límites de velocidad. InfinityScrape resuelve estos problemas de serie:

1. Arquitectura de doble motor:

   • Motor TLS rápido (primp + httpx): Imita las huellas TLS/JA3 y las cabeceras HTTP/2 de los navegadores reales Chrome/Safari para superar los retos de Cloudflare y Akamai en <100ms.

   • Navegador headless dinámico (Playwright Chromium): Renderiza SPA complejas (React, Vue, Next.js, Angular), realiza scroll infinito, hace clic en elementos y ejecuta JavaScript personalizado.

2. Eliminación de anuncios y rastreadores a nivel de red:

   • Intercepta y aborta las llamadas de red a más de 35 redes de anuncios y scripts de rastreo (doubleclick, criteo, outbrain, google-analytics) antes de que se descarguen, reduciendo el tiempo de carga de la página en un ~300% y el uso de memoria en un 70%.

   • Detecta y elimina automáticamente los popups de OneTrust, Cookiebot y los overlays fijos.

3. Transcripción instantánea de YouTube sin GPU:

   • Extrae transcripciones completas de vídeos, shorts y directos con marcas de tiempo ([MM:SS]) en <300ms directamente a través de flujos HTTP, sin descargar el vídeo ni requerir modelos Whisper de GPU locales.

4. Rastreador profundo y recursivo de documentación:

   • Rastreador asíncrono de búsqueda en anchura (BFS) con bloqueo de dominio y filtrado por prefijo de ruta para consolidar árboles de documentación completos en Markdown unificado.

5. Reconocimiento OSINT y GEOINT público de última generación:

   • Puntuación de confianza multiseñal (0% - 100%): Evalúa la correlación entre Nombre + Ciudad + Calle + Código Postal + Organización + Rol para clasificar los dossiers descubiertos.

   • Escáneres de más de 25 plataformas globales: Escanea GitHub, GitLab, StackOverflow, Kaggle, HuggingFace, LeetCode, Codeforces, Dev.to, Medium, Substack, Google Scholar, ResearchGate, Reddit, etc.

   • GEOINT de OpenStreetMap: Resuelve direcciones globales hasta el nivel de calle/código postal con coordenadas GPS y límites administrativos.

6. Capa de caché persistente SQLite:

   • Caché local en memoria y respaldada por SQLite para respuestas instantáneas de 0ms en búsquedas repetidas, con TTL configurable.

⚡ Comparativa competitiva

🏗️ Visión general de la arquitectura

                      ┌────────────────────────────────────────────────┐
                      │    AI Client (LM Studio / Claude / Cursor)     │
                      └───────────────────────┬────────────────────────┘
                                              │ JSON-RPC 2.0 (Stdio)
                                              ▼
                      ┌────────────────────────────────────────────────┐
                      │          InfinityScrape MCP Server             │
                      │                  (server.py)                   │
                      └───────┬────────────────┬───────────────┬───────┘
                              │                │               │
            ┌─────────────────┴─┐     ┌────────┴────────┐    ┌─┴────────────────┐
            ▼                   ▼     ▼                 ▼    ▼                  ▼
     [Fast TLS Engine]     [Playwright Engine]   [OSINT / GEOINT]   [Media & PDF Engines]
     • primp JA3/TLS       • Stealth Chromium    • 25+ Platform     • YouTube (<300ms)
     • HTTP/2 Stealth      • Network Ad Blocker    Scanners         • Remote PDF Stream
     • <100ms Execution    • Infinite Scroll     • OpenStreetMap    • Table Markdownify
                           • Auto-Dismiss CMPs   • Match Confidence
                                    │
                                    ▼
                      ┌────────────────────────────────┐
                      │ SQLite Caching Layer (0ms TTL) │
                      └────────────────────────────────┘

🚀 Inicio rápido e instalación con 1 clic

Requisitos previos

• Tener instalado Python 3.10, 3.11 o 3.12+.

• Windows, macOS o Linux.

Configuración con 1 clic:

En Windows:

Haga doble clic en install.bat o ejecute en PowerShell:

.\install.bat

En Linux / macOS:

chmod +x install.sh
./install.sh

Configuración manual (cualquier plataforma):

# 1. Create virtual environment
python -m venv .venv

# 2. Activate virtual environment
# Windows: .venv\Scripts\activate | Linux/Mac: source .venv/bin/activate

# 3. Install requirements & Playwright browser
pip install -r requirements.txt
playwright install chromium

🔌 Integración con clientes de IA

1. LM Studio (v0.3+)

Vaya a Settings ➔ Developer ➔ MCP Servers ➔ Edit Config y añada:

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ],
      "cwd": "C:/path/to/infinity-scraper",
      "env": {
        "PYTHONUNBUFFERED": "1"
      }
    }
  }
}

2. Claude Desktop

Edite %APPDATA%\Claude\claude_desktop_config.json (Windows) o ~/Library/Application Support/Claude/claude_desktop_config.json (macOS):

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ]
    }
  }
}

3. Cursor IDE

En Cursor Settings ➔ Features ➔ MCP Servers ➔ Add New MCP Server:

• Nombre: infinity-scraper

• Tipo: command

• Comando: C:/path/to/infinity-scraper/.venv/Scripts/python.exe -m infinity_scraper.server

🛠️ Guía de referencia completa de las 23 herramientas

1. Scraping web y rastreo de contenido

2. Analizadores de medios, redes sociales, vídeo y documentos

3. OSINT público profundo y reconocimiento de entidades

4. Inteligencia técnica, de dominios y de red

🧠 Manual del agente de IA autónomo

InfinityScrape incluye un avanzado Marco de Razonamiento Cognitivo (skills/infinity-scraper/SKILL.md) que enseña a los agentes de IA autónomos cómo:

• Descomponer dinámicamente las solicitudes del usuario en pistas de búsqueda y ubicación.

• Encadenar múltiples herramientas (p. ej., Search ➔ Filter ➔ Batch Scrape o Geocode ➔ Locality Dork ➔ Profile Extraction).

• Escalar automáticamente desde TLS rápido hasta el navegador headless de Playwright al encontrar aplicaciones dinámicas de una sola página en React.

👉 Lee el manual completo del agente: skills/infinity-scraper/SKILL.md

💻 Interfaz de línea de comandos (CLI)

También puedes usar InfinityScrape directamente desde tu terminal:

# Scrape a URL to Markdown
python -m infinity_scraper.cli scrape "https://example.com"

# Scrape dynamic SPA with infinite scroll
python -m infinity_scraper.cli scrape "https://news.ycombinator.com" --browser --scroll 3

# Live search and auto-scrape top results
python -m infinity_scraper.cli search "Quantum computing breakthroughs" --scrape --max 4

# Crawl documentation tree
python -m infinity_scraper.cli crawl "https://docs.python.org/3/library/asyncio.html" --pages 5 --depth 2

# Extract remote PDF
python -m infinity_scraper.cli pdf "https://example.com/report.pdf" --pages 10

🧪 Ejecución de pruebas automatizadas

Ejecuta la completa suite de pruebas unitarias y de integración:

python -m tests.test_scraper

Cobertura de pruebas:

• ✅ Fast TLS Impersonator

• ✅ Playwright Dynamic Browser

• ✅ DuckDuckGo Live Search

• ✅ HTML Table to Markdown Converter

• ✅ Recursive BFS Documentation Crawler

• ✅ Zero-GPU YouTube Transcript Extraction

• ✅ OSINT SSL, IP Intel & 25+ Platform Presence Check

📄 Licencia y protección de derechos de autor

Este proyecto está bajo la Licencia MIT (con Atribución Obligatoria y Cumplimiento de la DMCA).

[!IMPORTANT] Aviso de atribución obligatoria:

• Eres libre de usar, modificar e integrar este proyecto para uso comercial o personal.

• Sin embargo, el aviso original de atribución de autor y de derechos de autor DEBE conservarse en todas las copias, forks o distribuciones derivadas.

• Eliminar el nombre/créditos del autor y volver a subir/hacer push a GitHub como trabajo propio está estrictamente prohibido y constituye una infracción de los derechos de autor. Cualquier repositorio infractor está sujeto a una retirada inmediata por DMCA de GitHub y eliminación del repositorio y a acciones legales.

• Autor / Creador: VirajVerse

• Repositorio: https://github.com/virajverse/infinity-scraper-mcp

• Consulta LICENSE para conocer los términos legales completos.