Enables real-time JavaScript rendering for dynamic web content extraction and single-page application scraping
Automatically converts scraped HTML content into clean, readable Markdown format for AI processing
Click on "Install Server".
Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state.
In the chat, type
@followed by the MCP server name and your instructions, e.g., "@Thordata MCP Serverscrape the latest tech news from Hacker News and summarize the top 5 articles"
That's it! The server will respond to your query, and you can continue using it as needed.
Here is a step-by-step guide with screenshots.
📖 概述
ScraperMCP 服务器无缝桥接AI与Web生态,一键触达全球任意网站,实时渲染JavaScript、智能突破反爬机制,输出AI就绪的结构化数据内容。
🛠️ MCP 工具
Thordata MCP 支持解锁器和普通代理双通道数据获取,全面兼容MarkDown、HTML、Links多种数据格式
Web 爬虫 API 工具
Thordata MCP 提供 parse_with_ai_selectors 工具,依托 Thordata Web Scraper API 实现任意网站智能抓取
✅ 先决条件
开始部署前,请确保具备:
thordata Web 爬虫 API 账户: 访问 thordata 获取专属账号凭证;
📦 配置
环境变量
thordata MCP 服务器支持以下环境变量配置:
名称 | 描述 | 默认值 |
| 解锁器用户名 | |
| 解锁器密码 | |
| 解锁器代理地址 | |
| 普通代理用户名 | |
| 普通代理密码 | |
| 普通代理地址 |
使用 uv 配置
安装 uv 包管理器:
# macOS 和 Linux curl -LsSf https://astral.sh/uv/install.sh | sh或者:
# Windows powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"使用以下配置:
{ "mcpServers": { "Scraper": { "command": "uv", "args": [ "--directory", "<文件夹绝对路径>",#例如 D:\\ScraperMcp "run", "Scraper.py" ] } }
}
### 启动命令 ###
fastmcp run Scraper.py:mcp
### 🖥️ 手动设置指南
#### Claude Desktop 配置
1. 打开 Claude 应用
2. 导航至 **设置 → 开发者 → 编辑配置**
3. 将上述配置添加到 `claude_desktop_config.json` 文件中
#### Cursor AI 配置
1. 打开 Cursor 编辑器
2. 导航至 **设置 → Cursor 设置 → MCP**
3. 点击 **添加新的全局 MCP 服务器**
4. 配置相应参数
#### Cline 配置
1. 打开 Cline 设置
2. 导航至 **MCP服务器设置 → 已安装**
3. 点击 **配置MCP服务器**
4. 配置相应参数
### 手动设置 Cline 设置 → Mcp服务器 设置 -> 已安装 -> 点击配置MCP服务器 并配置相应参数
## 🛡️ 许可证
基于 MIT 许可证开源分发 - 详见 [LICENSE](LICENSE) 文件。
---
## 关于 Thordata
Thordata 作为市场领先的网络情报采集平台,恪守最高商业道德与合规标准,赋能全球企业挖掘数据驱动的商业洞察。
<div align="center">
<sub>
由 <a href="https://www.thordata.com/">Thordata</a> 由Thordata制作,若 MCP 为您节省宝贵时间,诚邀给予 ⭐ 支持。
</sub>
</div>
## ✨ 核心特性
<details>
<summary><strong> 全域网站内容抓取</strong></summary>
<br>
- 支持任意URL数据提取,包括复杂单页应用程序
- 完整JavaScript渲染能力,确保动态内容完美呈现
- 灵活渲染模式选择:全JS渲染、纯HTML或无渲染
</details>
<details>
<summary><strong> 智能AI数据预处理</strong></summary>
<br>
- 自动化HTML清洗并转换为高可读性Markdown
- 智能提取有效可用链接,优化数据结构
- 原生HTML格式支持,保持数据完整性
</details>
<details>
<summary><strong> 全球网络无障碍访问</strong></summary>
<br>
- 高效突破复杂反爬虫防护系统
- 稳定抓取高难度网站内容
- 195+国家IP池自动轮换,打破地理限制
</details>
<details>
<summary><strong> 跨平台灵活部署</strong></summary>
<br>
- 自定义渲染与解析参数配置
- 无缝对接AI模型与分析工具
- 全面支持macOS、Windows、Linux系统
</details>
---
## 为什么选择 Thordata MCP? 🕸️ ➜ 📦 ➜ 🤖
只需对LLM说*"总结Hacker News上关于Mcp的最新讨论"*,即刻获得精准答案。
MCP(多客户端代理)为您代劳所有繁琐环节:
| Thordata MCP 的核心价值 | 为您带来的优势 |
|-------------------------------------------------------------------|------------------------------------------|
| **Thordata全球代理网络智能绕过反机器人检测** | 保障访问畅通与身份匿名 |
| **一键式数据获取解决方案** | 复杂单页应用轻松应对 |
| **多格式输出支持(MarkDown/HTML/Links)** | 精准匹配您的数据需求This server cannot be installed
Resources
Looking for Admin?
Admins can modify the Dockerfile, update the server description, and track usage metrics. If you are the server author, to access the admin panel.