de en es ja ko ru zh

InfinityScrape MCP

Name: InfinityScrape MCP
Author: virajverse

by virajverse

Overview Schema Source Related Servers Discussions Admin

Python

Local

🌐 InfinityScrape MCP：世界级网页抓取与深度 OSINT 情报套件

License: MIT Python 3.10+ Protocol: MCP Zero-Cloud-API Zero-GPU

InfinityScrape MCP 是一个独立的、生产级的 Model Context Protocol (MCP) 服务器，旨在为 AI 模型（LM Studio、Claude Desktop、Cursor、Open WebUI、Antigravity AI）提供无限制、高速、可抵御反机器人机制的网页抓取、动态 SPA 渲染、即时 YouTube 转录，以及精准的 OSINT / GEOINT 位置情报。

📑 目录

Related MCP server: FineData MCP Server

🌟 为什么选择 InfinityScrape MCP？

常规网页抓取工具在现代网站上常常遭遇失败，原因包括 Cloudflare 质询、繁重的客户端 JavaScript 渲染、侵入式的 Cookie 同意弹窗以及速率限制。InfinityScrape 开箱即用地解决了这些问题：

双引擎架构：
- **快速 TLS 引擎（primp + httpx）：**模拟真实 Chrome/Safari 浏览器的 TLS/JA3 指纹和 HTTP/2 标头，在 <100ms 内绕过 Cloudflare 和 Akamai 质询。
- **动态无头浏览器（Playwright Chromium）：**渲染复杂的 SPA（React、Vue、Next.js、Angular），执行无限滚动、点击元素并运行自定义 JavaScript。
网络层面的广告与追踪器消除：
- 在下载之前拦截并中止对 35+ 广告网络和追踪脚本（doubleclick、criteo、outbrain、google-analytics）的网络调用，将页面加载时间缩短 ~300%，内存占用减少 70%。
- 自动检测并清除 OneTrust、Cookiebot 和粘性覆盖弹窗。
零 GPU 即时 YouTube 转录器：
- 直接通过 HTTP 流在 <300ms 内提取完整的视频/Shorts/直播转录文本（带时间戳 [MM:SS]），无需下载视频，也无需本地 GPU Whisper 模型。
深度递归文档爬虫：
- 采用异步广度优先搜索（BFS）爬虫，支持域名锁定和路径前缀过滤，将整个文档树聚合为统一的 Markdown。
最先进的公开 OSINT 与 GEOINT 侦察：
- **多信号置信度评分（0% - 100%）：**评估姓名 + 城市 + 街道 + 邮编 + 机构 + 角色之间的关联性，对发现的人物档案进行排序。
- **25+ 全球平台扫描器：**扫描 GitHub、GitLab、StackOverflow、Kaggle、HuggingFace、LeetCode、Codeforces、Dev.to、Medium、Substack、Google Scholar、ResearchGate、Reddit 等。
- **OpenStreetMap GEOINT：**将全球地址解析到街道/邮政编码级别，并提供 GPS 坐标和行政边界。
SQLite 持久化缓存层：
- 基于内存和 SQLite 的本地缓存，可在重复查询时提供即时 0ms 响应，并支持可配置的 TTL。

⚡ 竞品对比

功能 / 能力	标准 MCP 抓取工具	云抓取 API	InfinityScrape MCP
成本与 API 密钥	免费（基础）	付费（$20 - $200/月）	100% 免费 / 零 API 密钥
Cloudflare / Akamai TLS 绕过	❌ 失败 / 403	✅ 支持	✅ 内置（`primp` JA3）
动态 SPA 与无限滚动	❌ 有限	✅ 支持	✅ 内置（`playwright`）
网络层面广告与弹窗剥离	❌ 不支持	⚠️ 部分支持	✅ 内置（35+ 域名）
零 GPU YouTube 转录	❌ 不支持	❌ 不支持	✅ 内置（<300ms）
在线 PDF 逐页解析器	❌ 不支持	⚠️ 额外收费	✅ 内置（`pypdf`）
深度文档爬虫	❌ 不支持	⚠️ 额外收费	✅ 内置（异步 BFS）
25+ 平台 OSINT 与地理编码	❌ 不支持	❌ 不支持	✅ 内置（0-100% 置信度）
本地 SQLite 0ms 缓存	❌ 不支持	❌ 不支持	✅ 内置（自动 TTL）

🏗️ 架构概览

                      ┌────────────────────────────────────────────────┐
                      │    AI Client (LM Studio / Claude / Cursor)     │
                      └───────────────────────┬────────────────────────┘
                                              │ JSON-RPC 2.0 (Stdio)
                                              ▼
                      ┌────────────────────────────────────────────────┐
                      │          InfinityScrape MCP Server             │
                      │                  (server.py)                   │
                      └───────┬────────────────┬───────────────┬───────┘
                              │                │               │
            ┌─────────────────┴─┐     ┌────────┴────────┐    ┌─┴────────────────┐
            ▼                   ▼     ▼                 ▼    ▼                  ▼
     [Fast TLS Engine]     [Playwright Engine]   [OSINT / GEOINT]   [Media & PDF Engines]
     • primp JA3/TLS       • Stealth Chromium    • 25+ Platform     • YouTube (<300ms)
     • HTTP/2 Stealth      • Network Ad Blocker    Scanners         • Remote PDF Stream
     • <100ms Execution    • Infinite Scroll     • OpenStreetMap    • Table Markdownify
                           • Auto-Dismiss CMPs   • Match Confidence
                                    │
                                    ▼
                      ┌────────────────────────────────┐
                      │ SQLite Caching Layer (0ms TTL) │
                      └────────────────────────────────┘

🚀 快速开始与一键安装

先决条件

已安装 Python 3.10、3.11 或 3.12+。
Windows、macOS 或 Linux。

一键设置：

在 Windows 上：

双击 install.bat，或在 PowerShell 中运行：

.\install.bat

在 Linux / macOS 上：

chmod +x install.sh
./install.sh

手动设置（任意平台）：

# 1. Create virtual environment
python -m venv .venv

# 2. Activate virtual environment
# Windows: .venv\Scripts\activate | Linux/Mac: source .venv/bin/activate

# 3. Install requirements & Playwright browser
pip install -r requirements.txt
playwright install chromium

🔌 AI 客户端集成

1. LM Studio（v0.3+）

转到 Settings ➔ Developer ➔ MCP Servers ➔ Edit Config，然后添加：

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ],
      "cwd": "C:/path/to/infinity-scraper",
      "env": {
        "PYTHONUNBUFFERED": "1"
      }
    }
  }
}

2. Claude Desktop

编辑 %APPDATA%\Claude\claude_desktop_config.json（Windows）或 ~/Library/Application Support/Claude/claude_desktop_config.json（macOS）：

{
  "mcpServers": {
    "infinity-scraper": {
      "command": "C:/path/to/infinity-scraper/.venv/Scripts/python.exe",
      "args": [
        "-m",
        "infinity_scraper.server"
      ]
    }
  }
}

3. Cursor IDE

在 Cursor Settings ➔ Features ➔ MCP Servers ➔ Add New MCP Server 中：

名称：infinity-scraper
类型：command
命令：C:/path/to/infinity-scraper/.venv/Scripts/python.exe -m infinity_scraper.server

🛠️ 完整 23 工具参考指南

1. 网页抓取与内容爬取

工具	用途	关键参数
`scrape_url`	通用抓取，自动从 TLS 引擎升级到浏览器引擎。	`url`、`engine='auto'`、`strip_ads=True`、`use_cache=True`
`scrape_dynamic`	面向 SPA、无限滚动和点击操作的无头浏览器抓取。	`url`、`scroll_depth=3`、`click_selector`、`wait_seconds`
`search_web`	通过 DuckDuckGo 进行实时互联网搜索。	`query`、`max_results=5`、`search_type='text'`
`search_and_scrape`	搜索网页并自动抓取顶部结果，生成带引用的报告。	`query`、`max_results=4`
`deep_crawl`	递归异步 BFS 站点爬虫，用于爬取完整文档树。	`start_url`、`max_pages=10`、`max_depth=2`、`path_prefix`
`scrape_batch`	并发并行抓取多个 URL。	`urls`（列表）、`concurrency=4`
`extract_schema`	使用 CSS 选择器映射将目标字段提取为 JSON。	`url`、`schema={"title": "h1", "price": ".price"}`
`extract_structured`	提取 JSON-LD、OpenGraph 元数据和 HTML 表格。	`url`、`extract_tables=True`
`optimize_rag_chunks`	面向海量页面的语义 RAG 分块器与 token 优化器。	`text_or_markdown`、`max_chunk_chars=2000`

2. 媒体、社交、视频与文档解析器

工具	用途	关键参数
`get_youtube_transcript`	零 GPU 的 YouTube 视频转录提取，带时间戳。	`url`、`with_timestamps=True`、`languages`
`extract_pdf`	逐页流式提取远程在线 PDF 文档。	`url`、`max_pages=20`
`extract_image_exif`	从照片中提取相机参数、时间戳和 GPS 地理标签。	`image_url`
`extract_reddit_thread_tool`	摄取 Reddit 帖子、评分和嵌套评论对话。	`url`、`max_comments=25`
`extract_rss_feed_tool`	面向博客、Substack 和新闻的实时 RSS/Atom 源解析器。	`feed_url`、`max_items=10`

3. 深度公开 OSINT 与实体侦察

工具	用途	关键参数
`osint_deep_public_recon`	多域开放网络个人资料抓取器与置信度排序的人物档案构建器。	`name`、`location`、`street_or_locality`、`postal_code`、`organization`、`role_or_keywords`、`exclude_terms`、`time_range`
`osint_geoint_lookup`	全球 OpenStreetMap 正向地理编码与行政区域细分。	`location_query`、`country_code`
`osint_location_entity_search`	带否定过滤器的分层位置下钻搜索矩阵。	`entity_name`、`country`、`city`、`street_or_landmark`、`postal_code`
`osint_username_check`	扫描用户名在 26 个编程、学术和创意网络中的存在情况。	`username`
`osint_search`	精准搜索 Dork 语法（`site:`、`filetype:pdf`、`intitle:`、`-exclude`）。	`query`、`site`、`filetype`、`exclude_terms`

4. 技术、域名与网络情报

工具	用途	关键参数
`osint_domain_recon`	检查域名的 SSL/TLS 证书有效性、DNS 以及 RDAP/WHOIS。	`domain_or_url`
`osint_tech_stack`	检测前端框架（React、Next.js、Vue）、CMS、CDN 和服务器。	`url`
`osint_ip_lookup`	公网 IP 地理位置、ASN、ISP 和所属组织情报。	`ip_or_host`
`osint_wayback_time_machine`	历史时间回溯与已删除网页快照抓取器。	`url`, `timestamp`, `list_snapshots`
`osint_subdomain_enumeration`	在 1 秒内通过证书透明度（Certificate Transparency）发现子域名。	`domain`, `limit=50`
`osint_dns_audit`	深度 DNS 记录（IPv4、IPv6、MX）基础设施审计。	`domain`

🧠 自主 AI 智能体操作手册

InfinityScrape 包含一个先进的认知推理框架（skills/infinity-scraper/SKILL.md），可用于教导自主 AI 智能体如何：

将用户提示动态分解为搜索和位置线索。
跨工具进行多工具链式调用（例如 Search ➔ Filter ➔ Batch Scrape 或 Geocode ➔ Locality Dork ➔ Profile Extraction）。
在遇到动态 React 单页应用时，从快速 TLS 自动升级到 Playwright 无头浏览器。

👉 阅读完整智能体操作手册：skills/infinity-scraper/SKILL.md

💻 命令行界面（CLI）

你也可以直接从终端使用 InfinityScrape：

# Scrape a URL to Markdown
python -m infinity_scraper.cli scrape "https://example.com"

# Scrape dynamic SPA with infinite scroll
python -m infinity_scraper.cli scrape "https://news.ycombinator.com" --browser --scroll 3

# Live search and auto-scrape top results
python -m infinity_scraper.cli search "Quantum computing breakthroughs" --scrape --max 4

# Crawl documentation tree
python -m infinity_scraper.cli crawl "https://docs.python.org/3/library/asyncio.html" --pages 5 --depth 2

# Extract remote PDF
python -m infinity_scraper.cli pdf "https://example.com/report.pdf" --pages 10

🧪 运行自动化测试

运行全面的单元与集成测试套件：

python -m tests.test_scraper

测试覆盖：

✅ 快速 TLS 模拟器
✅ Playwright 动态浏览器
✅ DuckDuckGo 实时搜索
✅ HTML 表格转 Markdown 转换器
✅ 递归 BFS 文档爬虫
✅ 零 GPU YouTube 字幕提取
✅ OSINT SSL、IP 情报及 25+ 平台存在性检查

📄 许可证与版权保护

本项目采用 MIT 许可证（含强制署名与 DMCA 执法条款） 进行授权。

[!IMPORTANT] 强制署名声明：
你可以自由地将本项目用于商业或个人用途，进行使用、修改和集成。
但是，原始作者署名和版权声明必须保留在所有副本、分支或衍生分发中。
严格禁止移除作者姓名/署名并以自己的作品重新上传/推送到 GitHub，否则构成版权侵权。 任何侵权仓库都将面临立即的 GitHub DMCA 删除通知与仓库删除 以及法律追究。

作者 / 创建者： VirajVerse
仓库： https://github.com/virajverse/infinity-scraper-mcp
查看 LICENSE 获取完整的法律条款。

This server cannot be deployed

Let your AI agent see the webWeb-to-screenshot MCP for Claude, Cursor and Codex. No cookie banners. Free to start.snap-render.comAd

Maintenance

ActivityMaintained

ResponsivenessNo issues

Resources

Related MCP Connectors

HasData A
com.hasdata.mcp
Direct access to 60+ scraping and search tools. Extract structured data from Google (Search, Maps, Trends), Amazon, Airbnb, Social Media, and any web page directly into your AI agent.
Browser Automation RAG Systems Web Scraping
682
https://mcp.hasdata.com/mcp
agentwebintel B
io.github.mlartab
Proxy-rotated web scraping and cross-platform intelligence for AI agents.
Web Scraping Browser Automation Agent Orchestration
21
https://agentwebintel.up.railway.app/mcp
Siftwright web data A
com.siftwright
Web data for agents: YouTube transcripts, screenshots, Google News, WHOIS, jobs, tech stack, more.
Browser Automation Web Scraping Search
91
https://siftwright.com/mcp
quanticdata-mcp AOAuth
io.github.quantumproxies
Live web access for agents: scrape, SERP search, crawl/map, 100+ collectors, datasets, proxies.
Browser Automation Web Scraping Search
1
https://api.quanticdata.io/mcp

Related MCP Servers

Stealth Browser MCP
Browser Automation Web Scraping Agent Orchestration
vibheksoni
A
license
Not graded
quality
A
maintenance
Enables AI agents to perform undetectable browser automation that bypasses Cloudflare, antibots, and social media blocks. Provides 105 tools for element extraction, network debugging, and real-world web scraping with a 98.7% success rate on protected sites.
Updated 5 days ago (2026-10-26 21:06 UTC)
3,299
MIT
FineData MCP Server
Web Scraping Browser Automation App Automation
quality-network
A
license
A
quality
C
maintenance
Enables AI agents to scrape any website by providing tools for JavaScript rendering, antibot bypass, and automatic captcha solving. It supports synchronous, asynchronous, and batch scraping operations with built-in proxy rotation.
Updated 3 months ago (2026-08-14 07:37 UTC)
5
207 npm
31 PyPI
MIT
ScrapeLab MCPofficial
Web Scraping Browser Automation
scrapelab
A
license
Not graded
quality
D
maintenance
Enables undetectable web scraping and browser automation for AI agents with 84 tools including stealth navigation, element extraction, network interception, and auto cookie consent dismissal. Bypasses anti-bot systems like Cloudflare and DataDome while providing LLM-ready markdown output and full Chrome DevTools Protocol access.
Updated 7 months ago (2026-04-06 08:36 UTC)
MIT
HasData MCP Serverofficial
Data Platforms Research & Data Web Scraping
HasData
A
license
A
quality
A
maintenance
Direct access to 40+ scraping and search tools. Extract structured data from Google (Search, Maps, Trends), Amazon, Airbnb, Social Media, and any web page directly into your AI agent.
Updated 19 days ago (2026-10-12 14:34 UTC)
63
21
MIT