Enables real-time JavaScript rendering for dynamic web content extraction and single-page application scraping
Automatically converts scraped HTML content into clean, readable Markdown format for AI processing
📖 概述
ScraperMCP 服务器无缝桥接AI与Web生态,一键触达全球任意网站,实时渲染JavaScript、智能突破反爬机制,输出AI就绪的结构化数据内容。
🛠️ MCP 工具
Thordata MCP 支持解锁器和普通代理双通道数据获取,全面兼容MarkDown、HTML、Links多种数据格式
Web 爬虫 API 工具
Thordata MCP 提供 parse_with_ai_selectors 工具,依托 Thordata Web Scraper API 实现任意网站智能抓取
✅ 先决条件
开始部署前,请确保具备:
thordata Web 爬虫 API 账户: 访问 thordata 获取专属账号凭证;
📦 配置
环境变量
thordata MCP 服务器支持以下环境变量配置:
名称 | 描述 | 默认值 |
| 解锁器用户名 | |
| 解锁器密码 | |
| 解锁器代理地址 | |
| 普通代理用户名 | |
| 普通代理密码 | |
| 普通代理地址 |
使用 uv 配置
安装 uv 包管理器:
# macOS 和 Linux curl -LsSf https://astral.sh/uv/install.sh | sh或者:
# Windows powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"使用以下配置:
{ "mcpServers": { "Scraper": { "command": "uv", "args": [ "--directory", "<文件夹绝对路径>",#例如 D:\\ScraperMcp "run", "Scraper.py" ] } }
}
This server cannot be installed
remote-capable server
The server can be hosted and run remotely because it primarily relies on remote services or has no dependency on the local environment.
Enables AI models to scrape and extract data from any website globally using Thordata's 195+ country proxy network. Bypasses anti-bot systems and renders JavaScript content, outputting structured data in Markdown, HTML, or Links format.