🌐 InfinityScrape MCP: веб-скрапинг мирового уровня и комплекс глубокой OSINT-разведки

InfinityScrape MCP — это автономный MCP-сервер (Model Context Protocol) промышленного уровня, разработанный для предоставления AI-моделям (LM Studio, Claude Desktop, Cursor, Open WebUI, Antigravity AI) неограниченного высокоскоростного веб-скрапинга, устойчивого к антибот-защите, динамического рендеринга SPA, мгновенной транскрипции YouTube и точной геолокационной разведки OSINT / GEOINT.

📑 Оглавление

• 🌟 Почему InfinityScrape MCP?

• ⚡ Сравнение с конкурентами

• 🏗️ Обзор архитектуры

• 🚀 Быстрый старт и установка в один клик

• 🔌 Интеграция с AI-клиентами (LM Studio, Claude, Cursor)

• 🛠️ Полное справочное руководство по 16 инструментам

  • 1. Веб-скрапинг и обход контента

  • 2. Парсеры медиа, видео и документов

  • 3. Глубокая публичная OSINT и разведка по объектам

  • 4. Техническая, доменная и сетевая разведка

• 🧠 Плейбук автономного AI-агента (SKILL.md)

• 💻 Интерфейс командной строки (CLI)

• 🧪 Запуск автоматических тестов

• 📄 Лицензия и авторы

Related MCP server: FineData MCP Server

🌟 Почему InfinityScrape MCP?

Стандартные веб-скраперы часто не справляются с современными сайтами из-за Cloudflare-челленджей, интенсивного клиентского рендеринга JavaScript, навязчивых модальных окон согласия на использование cookie и ограничений частоты запросов. InfinityScrape решает эти проблемы из коробки:

1. Двухдвижковая архитектура:

   • Быстрый TLS-движок (primp + httpx): имитирует реальные TLS/JA3-отпечатки браузеров Chrome/Safari и HTTP/2-заголовки, обходя Cloudflare- и Akamai-челленджи менее чем за <100ms.

   • Динамический headless-браузер (Playwright Chromium): рендерит сложные SPA (React, Vue, Next.js, Angular), выполняет бесконечную прокрутку, кликает по элементам и исполняет пользовательский JavaScript.

2. Устранение рекламы и трекеров на сетевом уровне:

   • Перехватывает и прерывает сетевые запросы к 35+ рекламным сетям и скриптам отслеживания (doubleclick, criteo, outbrain, google-analytics) до их загрузки, сокращая время загрузки страницы на ~300% и потребление памяти на 70%.

   • Автоматически обнаруживает и устраняет всплывающие окна OneTrust, Cookiebot и липкие оверлеи.

3. Мгновенный транскрайбер YouTube без GPU:

   • Извлекает полные транскрипты видео/shorts/трансляций с временными метками ([MM:SS]) менее чем за <300ms напрямую через HTTP-потоки, без скачивания видео и без необходимости в локальных GPU-моделях Whisper.

4. Глубокий рекурсивный краулер документации:

   • Асинхронный краулер на основе поиска в ширину (BFS) с привязкой к домену и фильтрацией по префиксу пути, агрегирующий целые деревья документации в единый Markdown.

5. Современная публичная OSINT- и GEOINT-разведка:

   • Многосигнальная оценка уверенности (0%–100%): оценивает корреляцию Имя + Город + Улица + Индекс + Организация + Роль для ранжирования найденных досье.

   • Сканеры 25+ глобальных платформ: сканирует GitHub, GitLab, StackOverflow, Kaggle, HuggingFace, LeetCode, Codeforces, Dev.to, Medium, Substack, Google Scholar, ResearchGate, Reddit и др.

   • Георазведка OpenStreetMap: определяет глобальные адреса вплоть до уровня улицы/почтового индекса с GPS-координатами и административными границами.

6. Постоянный слой кэширования на SQLite:

   • Локальный кэш в памяти и на базе SQLite для мгновенных ответов за 0ms при повторных запросах с настраиваемым TTL.

⚡ Сравнение с конкурентами

🏗️ Обзор архитектуры

                      ┌────────────────────────────────────────────────┐
                      │    AI Client (LM Studio / Claude / Cursor)     │
                      └───────────────────────┬────────────────────────┘
                                              │ JSON-RPC 2.0 (Stdio)
                                              ▼
                      ┌────────────────────────────────────────────────┐
                      │          InfinityScrape MCP Server             │
                      │                  (server.py)                   │
                      └───────┬────────────────┬───────────────┬───────┘
                              │                │               │
            ┌─────────────────┴─┐     ┌────────┴────────┐    ┌─┴────────────────┐
            ▼                   ▼     ▼                 ▼    ▼                  ▼
     [Fast TLS Engine]     [Playwright Engine]   [OSINT / GEOINT]   [Media & PDF Engines]
     • primp JA3/TLS       • Stealth Chromium    • 25+ Platform     • YouTube (<300ms)
     • HTTP/2 Stealth      • Network Ad Blocker    Scanners         • Remote PDF Stream
     • <100ms Execution    • Infinite Scroll     • OpenStreetMap    • Table Markdownify
                           • Auto-Dismiss CMPs   • Match Confidence
                                    │
                                    ▼
                      ┌────────────────────────────────┐
                      │ SQLite Caching Layer (0ms TTL) │
                      └────────────────────────────────┘

🚀 Быстрый старт и установка в один клик

Предварительные требования

• Установлен Python 3.10, 3.11 или 3.12+.

• Windows, macOS или Linux.

Настройка в один клик:

На Windows:

Дважды щёлкните install.bat или выполните в PowerShell:

.\install.bat

На Linux / macOS:

chmod +x install.sh
./install.sh

Ручная настройка (любая платформа):

# 1. Create virtual environment
python -m venv .venv

# 2. Activate virtual environment
# Windows: .venv\Scripts\activate | Linux/Mac: source .venv/bin/activate

# 3. Install requirements & Playwright browser
pip install -r requirements.txt
playwright install chromium

🔌 Интеграция с AI-клиентами

1. LM Studio (v0.3+)

Перейдите в Настройки ➔ Разработчик ➔ MCP-серверы ➔ Изменить конфигурацию и добавьте:

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ],
      "cwd": "C:/path/to/infinity-scraper",
      "env": {
        "PYTHONUNBUFFERED": "1"
      }
    }
  }
}

2. Claude Desktop

Отредактируйте %APPDATA%\Claude\claude_desktop_config.json (Windows) или ~/Library/Application Support/Claude/claude_desktop_config.json (macOS):

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ]
    }
  }
}

3. Cursor IDE

В настройках Cursor ➔ Возможности ➔ MCP-серверы ➔ Добавить новый MCP-сервер:

• Имя: infinity-scraper

• Тип: command

• Команда: C:/path/to/infinity-scraper/.venv/Scripts/python.exe -m infinity_scraper.server

🛠️ Полное справочное руководство по 23 инструментам

1. Веб-скрапинг и обход контента

2. Парсеры медиа, соцсетей, видео и документов

3. Глубокая публичная OSINT и разведка по объектам

4. Техническая, доменная и сетевая разведка

🧠 Плейбук для автономных AI-агентов

InfinityScrape включает расширенный Cognitive Reasoning Framework (skills/infinity-scraper/SKILL.md), который обучает автономных AI-агентов:

• Динамически разбирать пользовательские запросы на поисковые и геолокационные подсказки.

• Выстраивать цепочки вызовов нескольких инструментов (например, Search ➔ Filter ➔ Batch Scrape или Geocode ➔ Locality Dork ➔ Profile Extraction).

• Автоматически переходить с быстрого TLS на headless-браузер Playwright при обнаружении динамических одностраничных приложений на React.

👉 Читайте полный плейбук агента: skills/infinity-scraper/SKILL.md

💻 Интерфейс командной строки (CLI)

Вы также можете использовать InfinityScrape напрямую из терминала:

# Scrape a URL to Markdown
python -m infinity_scraper.cli scrape "https://example.com"

# Scrape dynamic SPA with infinite scroll
python -m infinity_scraper.cli scrape "https://news.ycombinator.com" --browser --scroll 3

# Live search and auto-scrape top results
python -m infinity_scraper.cli search "Quantum computing breakthroughs" --scrape --max 4

# Crawl documentation tree
python -m infinity_scraper.cli crawl "https://docs.python.org/3/library/asyncio.html" --pages 5 --depth 2

# Extract remote PDF
python -m infinity_scraper.cli pdf "https://example.com/report.pdf" --pages 10

🧪 Запуск автоматизированных тестов

Запустите полный набор модульных и интеграционных тестов:

python -m tests.test_scraper

Покрытие тестами:

• ✅ Fast TLS Impersonator

• ✅ Playwright Dynamic Browser

• ✅ DuckDuckGo Live Search

• ✅ HTML Table to Markdown Converter

• ✅ Recursive BFS Documentation Crawler

• ✅ Zero-GPU YouTube Transcript Extraction

• ✅ OSINT SSL, IP Intel & 25+ Platform Presence Check

📄 Лицензия и защита авторских прав

Этот проект распространяется под лицензией MIT (с обязательным указанием авторства и правоприменением DMCA).

[!IMPORTANT] Уведомление об обязательном указании авторства:

• Вы можете свободно использовать, изменять и интегрировать этот проект в коммерческих или личных целях.

• Однако оригинальное указание автора и уведомление об авторских правах ОБЯЗАТЕЛЬНО должны сохраняться во всех копиях, форках или производных дистрибутивах.

• Удаление имени/упоминания автора и повторная загрузка/публикация на GitHub от своего имени строго запрещены и являются нарушением авторских прав. Любой репозиторий-нарушитель подлежит немедленному удалению по DMCA и блокировке на GitHub, а также правовому преследованию.

• Автор / Создатель: VirajVerse

• Репозиторий: https://github.com/virajverse/infinity-scraper-mcp

• Полные юридические условия см. в LICENSE.