Thordata MCP Server

📖 概述

ScraperMCP 服务器无缝桥接AI与Web生态，一键触达全球任意网站，实时渲染JavaScript、智能突破反爬机制，输出AI就绪的结构化数据内容。

🛠️ MCP 工具

Thordata MCP 支持解锁器和普通代理双通道数据获取，全面兼容MarkDown、HTML、Links多种数据格式

Web 爬虫 API 工具

Thordata MCP 提供 parse_with_ai_selectors 工具，依托 Thordata Web Scraper API 实现任意网站智能抓取

✅ 先决条件

开始部署前，请确保具备:

• thordata Web 爬虫 API 账户: 访问 thordata 获取专属账号凭证;

📦 配置

环境变量

thordata MCP 服务器支持以下环境变量配置:

使用 uv 配置

• 安装 uv 包管理器:

  # macOS 和 Linux
  curl -LsSf https://astral.sh/uv/install.sh | sh

  或者:

  # Windows
  powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

• 使用以下配置:

  {
  "mcpServers": {
    "Scraper": {
      "command": "uv",
      "args": [
        "--directory",
        "<文件夹绝对路径>",#例如 D:\\ScraperMcp
        "run",
        "Scraper.py"
      ]
    }
  }
  }

启动命令

fastmcp run Scraper.py:mcp

🖥️ 手动设置指南

Claude Desktop 配置

1. 打开 Claude 应用

2. 导航至 设置 → 开发者 → 编辑配置

3. 将上述配置添加到 claude_desktop_config.json 文件中

Cursor AI 配置

1. 打开 Cursor 编辑器

2. 导航至 设置 → Cursor 设置 → MCP

3. 点击 添加新的全局 MCP 服务器

4. 配置相应参数

Cline 配置

1. 打开 Cline 设置

2. 导航至 MCP服务器设置 → 已安装

3. 点击 配置MCP服务器

4. 配置相应参数

手动设置 Cline 设置 → Mcp服务器 设置 -> 已安装 -> 点击配置MCP服务器 并配置相应参数

🛡️ 许可证

基于 MIT 许可证开源分发 - 详见 LICENSE 文件。

关于 Thordata

Thordata 作为市场领先的网络情报采集平台，恪守最高商业道德与合规标准，赋能全球企业挖掘数据驱动的商业洞察。

✨ 核心特性

• 支持任意URL数据提取，包括复杂单页应用程序

• 完整JavaScript渲染能力，确保动态内容完美呈现

• 灵活渲染模式选择：全JS渲染、纯HTML或无渲染

• 自动化HTML清洗并转换为高可读性Markdown

• 智能提取有效可用链接，优化数据结构

• 原生HTML格式支持，保持数据完整性

• 高效突破复杂反爬虫防护系统

• 稳定抓取高难度网站内容

• 195+国家IP池自动轮换，打破地理限制

• 自定义渲染与解析参数配置

• 无缝对接AI模型与分析工具

• 全面支持macOS、Windows、Linux系统

为什么选择 Thordata MCP？ 🕸️ ➜ 📦 ➜ 🤖

只需对LLM说*"总结Hacker News上关于Mcp的最新讨论"*，即刻获得精准答案。
MCP（多客户端代理）为您代劳所有繁琐环节：