The Web MCP

概览

Bright Data MCP 服务器让 AI 智能体可以实时访问公开网页数据。它提供 32 个工具，涵盖：

• 网页搜索：以结构化数据形式返回 Bing 和 Google 搜索结果

• 页面抓取：将任意 URL 转换为 Markdown 或 HTML，并在每个请求中自动处理机器人检测、验证码破解和代理轮换

• 结构化数据（网页爬虫工具 API）：通过 1,200 多个预构建爬虫，从 Amazon、LinkedIn、Instagram、TikTok、YouTube、X、Reddit、Facebook、Crunchbase、Zillow、npm、PyPI 等平台获取干净的 JSON，无需解析 HTML。六个工具可查找并运行其中任意爬虫

• 浏览器自动化：在远程浏览器会话中导航、点击、输入、截图和读取页面

• LLM 回复采集：向 ChatGPT 和 Perplexity 发送提示词，并以结构化数据形式获取其回答

每个请求都会通过 Bright Data 的解锁基础设施路由，因此会阻止普通 HTTP 客户端的页面（机器人检测、CAPTCHA、速率限制、地域限制）也能正常返回。无需设置代理、维护无头浏览器或编写重试逻辑。

两种部署方式：托管的远程服务器（一个 URL，无需安装），或通过 npx @brightdata/mcp 运行本地实例。

Related MCP server: Spider MCP Server

快速开始

托管服务器：无需安装。 将此 URL 添加到你的 MCP 客户端：

https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN_HERE

从你的 Bright Data 账户设置中获取 API 令牌。新账户每月可获得 5,000 次免费请求。

可选 URL 参数：

1. 前往：设置 → 连接器 → 添加自定义连接器

2. 名称：Bright Data

3. URL：https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN

4. 点击“添加”

或在本地运行：

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<your-api-token-here>"
      }
    }
  }
}

claude mcp add --transport http brightdata "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN"

添加到 ~/.cursor/mcp.json：

{
  "mcpServers": {
    "brightdata": {
      "url": "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN"
    }
  }
}

添加到 .vscode/mcp.json：

{
  "servers": {
    "brightdata": {
      "type": "http",
      "url": "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN"
    }
  }
}

添加到 ~/.codeium/windsurf/mcp_config.json：

{
  "mcpServers": {
    "brightdata": {
      "serverUrl": "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN"
    }
  }
}

添加到 ~/.gemini/settings.json：

{
  "mcpServers": {
    "brightdata": {
      "httpUrl": "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN"
    }
  }
}

添加到你的 Zed 设置：

{
  "context_servers": {
    "brightdata": {
      "url": "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN"
    }
  }
}

前往设置 > MCP Servers > Add MCP 服务器，并添加：

{
  "brightdata": {
    "url": "https://mcp.brightdata.com/mcp?token=YOUR_API_TOKEN"
  }
}

适用于任何支持本地 MCP 服务器的客户端：

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<your-api-token-here>"
      }
    }
  }
}

定价和免费套餐

每个账户都包含每月自动续订的免费套餐。开始使用无需信用卡或任何承诺。

每月 5,000 次免费请求，每月 1 日续订。未使用的请求不会结转。对于团队账户，账户中的所有用户共享免费套餐。

免费内容包括：

• 获取任意网页并提取为 Markdown

• 访问适用于热门域名的 60 多个预构建爬虫

• 网页搜索（Bing、Google）

• 网页解锁（绕过机器人检测、破解 CAPTCHA、代理轮换）

• 浏览器自动化

• 地理定位

超出免费套餐后：按使用量付费，无需承诺：

• 免费请求用完后，请求将停止。不会产生意外费用：除非你已存入资金

• 添加信用卡仅用于验证；除非你的免费套餐已用完并且账户中存有资金，否则不会扣费

• 在控制面板中设置消费上限，确保按使用量付费的费用不会超出预算

完整定价、用量方案和企业方案 →

使用场景

实时研究

使用实时网页数据而不是训练数据回答问题。先搜索，再阅读来源。

提示词示例：“特斯拉当前股价是多少？”、“获取纽约今天的天气预报”、“查找过去 6 个月中引用最多的欧盟 AI 监管资料来源”。

电商洞察

以结构化 JSON 读取商品数据：价格、库存情况、评分、评论数、卖家和图片。

提示词示例：“比较这款笔记本电脑在 Amazon、Walmart 和 Best Buy 的价格”、“获取 ASIN B0D2Q9397Y 的评分和评论数”、“这款商品有货吗？”。

市场和竞争对手分析

使用实时数据构建竞争对手档案：融资、员工人数、招聘、客户评论和定价页面。

提示词示例：“将 Notion 作为竞争对手进行分析：定价、融资、招聘重点，以及客户抱怨的问题”。

具备可靠网页访问能力的 AI 智能体

替换在受保护网站上会被阻止的内置获取/搜索工具。每个请求都会通过解锁基础设施，因此智能体不会因机器人检测、CAPTCHA 或地域限制而失败。

编码智能体

按需获取软件包注册表数据：无需抓取，也没有过期缓存。

提示词示例：“npm 上 express 的最新版本是什么？”、“获取 langchain-brightdata PyPI 软件包的 README”。

GEO 和品牌可见度

向主流 LLM 发送提示词，并以结构化数据形式获取回答。衡量 AI 助手如何描述你的品牌、引用哪些来源以及提供哪些推荐，为生成式引擎优化建立反馈循环。

提示词示例：“向 ChatGPT 和 Perplexity 询问‘哪家代理提供商最好’，并比较它们如何对我们进行排名”。

社交媒体监测

从各大平台获取结构化数据：个人资料、帖子、评论和互动指标。每个平台都针对不同数据类型提供爬虫（LinkedIn 个人资料、Instagram Reels、TikTok 评论等）；使用 search_scrapers 查找，并使用 run_scraper 运行。

提示词示例：“获取此 TikTok 个人资料最新的 10 条帖子，并总结互动情况”。

内容创作和学术研究

一次从多个页面收集素材，并按时效性和相关性筛选。

对比

工具选择：组

工具按组组织，因此你只需加载所需内容。工具越少，智能体需要处理的上下文就越少。

• 未设置 GROUPS 或 TOOLS 时，会启用全部 32 个工具。设置任意一个都会将服务器限制为仅使用指定工具

• GROUPS 用于启用工具包。使用逗号分隔：GROUPS="scrapers,browser"（本地）或 &groups=scrapers,browser（托管 URL）

• TOOLS 用于额外添加单个工具：TOOLS="extract,scrape_as_html"。单独使用时，只启用你列出的工具

• 每个组还包含 search_engine、scrape_as_markdown 和 ask_brightdata_assistant

• 组 ID custom 已保留；如需单独选择工具，请使用 TOOLS

旧组 ID（ecommerce、social、business、finance、research、app_stores、travel、code）仍然有效，并会启用 scrapers 工具；social 和 business 还会添加 search_dataset 和 list_dataset_fields。TOOLS 中旧的 web_data_* 名称也会启用 scrapers 工具。

配置示例

启用浏览器自动化和 AI 提取的本地服务器：

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<your-api-token-here>",
        "GROUPS": "browser,advanced_scraping",
        "TOOLS": "extract"
      }
    }
  }
}

编码智能体设置（Claude Code / Cursor / Windsurf）：通过预构建爬虫获取 npm、PyPI 和 GitHub 数据：

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "<your-api-token-here>",
        "GROUPS": "scrapers"
      }
    }
  }
}

工具参考（32 个工具）

应使用哪个工具

• 已有 URL，需要内容： scrape_as_markdown。多个 URL（最多 5 个）：scrape_batch

• 需要查找信息： search_engine。多个查询（最多 5 个）：search_engine_batch

• 从已知平台（Amazon、LinkedIn、TikTok、npm、PyPI 等）获取结构化数据： search_scrapers → get_scraper_details → run_scraper，返回干净的 JSON，比抓取同一页面更快、更可靠

• 从没有爬虫覆盖的页面获取结构化 JSON： extract

• 原始 HTML： scrape_as_html

• 页面需要交互（点击、输入、滚动、登录）： scraping_browser_* 工具

• 了解 ChatGPT/Perplexity 如何回答提示词： chatgpt_ai_insights / perplexity_ai_insights

• 有关 Bright Data 本身的问题（产品、区域、错误、设置）： ask_brightdata_assistant

爬虫运行说明：

• 返回结构化 JSON，按返回的记录数计费

• 包含 error 字段的记录会说明失败的输入，例如 URL 类型错误

• 结果可能很大。对 discover_by_* 方法使用较低的 limit_per_input，并在框架支持的情况下通过子智能体运行批量采集，避免记录充斥主上下文窗口

• 如果运行失败，可对同一 URL 使用 scrape_as_markdown 作为后备方案

搜索并运行 Bright Data 的任意一个 1,200 多个预构建爬虫。爬虫列表从 docs.brightdata.com/scrapers.json 加载，并每日刷新。在托管服务器和本地服务器上均可使用。未选择工具或组时默认启用；否则请添加 scrapers 组（托管 URL 使用 &groups=scrapers，本地使用 GROUPS=scrapers）。

典型流程：search_scrapers → get_scraper_details → run_scraper。运行按记录计费；discover_by_* 方法为每个输入最多采集 limit_per_input 条记录（默认 10 条）。

远程浏览器会话。典型流程：导航 → 快照 → 通过 ref 交互 → 提取或截图。

ref 来自最新快照。如果页面在点击或导航后发生变化，请在下一次基于 ref 的操作前创建新快照。对于静态页面，scrape_as_markdown 比浏览器会话更快且成本更低。

用于生成式引擎优化（跟踪 LLM 如何描述你的品牌）和 LLM-as-a-judge 工作流。

对存储的 LinkedIn 数据集执行筛选搜索；无需运行爬虫，立即返回匹配记录。

文档中的完整工具参考 →

智能体技能

即用型技能，可指导你的智能体正确使用此 MCP 服务器。完整合集位于 github.com/bright-cn/skills：包含 11 项技能，涵盖网页抓取、网页获取、搜索、浏览器自动化、数据集、账号接入和计费，以及 CLI、MCP 和 SDK 使用指南。

与此 MCP 服务器直接相关的技能：

浏览全部 11 项技能 →

配置

基本设置（本地）

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "your-token-here"
      }
    }
  }
}

高级配置

{
  "mcpServers": {
    "Bright Data": {
      "command": "npx",
      "args": ["@brightdata/mcp"],
      "env": {
        "API_TOKEN": "your-token-here",
        "RATE_LIMIT": "100/1h",
        "SERP_ZONE": "custom_serp",
        "WEB_UNLOCKER_ZONE": "custom",
        "BROWSER_ZONE": "custom_browser"
      }
    }
  }
}

环境变量

内容门控

scrape_as_markdown、search_engine、extract 及其批量变体会返回网页上的原始内容。如果该内容包含看起来像是要求更改 MCP 配置的指令：注册服务器、运行 npx -y 软件包、编辑 MCP 配置文件，服务器会暂停，并在返回内容前通过你的 MCP 客户端询问你。批准后，内容将原样返回；拒绝后，内容将被隐藏，并向助手提供简短说明。不包含此类文本的页面会与以前一样原样返回，不会出现提示。对于批量调用，仅隐藏匹配的项目。

以 MCP 配置为主题的页面（文档、README）自然会触发提示。不支持 MCP 引导征询的客户端将隐藏匹配内容；如果你接受相关风险，请设置 CONTENT_GATE=off。服务器等待你回答时会报告进度；不会根据进度延长工具超时时间的客户端，会按自身限制终止等待：CONTENT_GATE_TIMEOUT 是服务器端的控制项。浏览器工具不在此功能的覆盖范围内。

文档

故障排除

“spawn npx ENOENT”错误

安装 Node.js，或使用 node 的完整路径：

"command": "/usr/local/bin/node"  // macOS/Linux
"command": "C:\\Program Files\\nodejs\\node.exe"  // Windows

复杂网站超时

在客户端设置中将超时时间增加到 180 秒。

身份验证问题

验证你的 API 令牌有效且具有所需权限。令牌在账户设置中管理。

run_scraper 返回错误或没有数据

包含 error 字段的记录会说明失败的输入。将你的输入与 get_scraper_details 返回的 sample_input 进行比较（例如，Amazon 商品 URL 包含 /dp/，Walmart 商品 URL 包含 /ip/），并检查页面是否可公开访问。可对同一 URL 使用 scrape_as_markdown 作为后备方案。

远程服务器连接失败

检查你的互联网连接和防火墙设置。

贡献

• 报告错误

• 建议功能

• 提交 PR

请遵循 Bright Data 的编码标准。

支持

许可证

MIT © Bright Data Ltd.