Oxylabs MCP Server

📖 概述

Oxylabs MCP 服务器在 AI 模型和 Web 之间架起了一座桥梁。它使 AI 模型能够抓取任何 URL、渲染 JavaScript 密集型页面、提取和格式化内容以供 AI 使用、绕过反抓取措施，并访问来自 195 多个国家/地区受地理限制的 Web 数据。

此实现利用模型上下文协议 (MCP) 为 AI 助手与网络内容交互创建一种安全、标准化的方式。

✨ 主要特点

• 从任何 URL 中提取数据，包括复杂的单页应用程序
• 使用无头浏览器支持完全呈现动态网站
• 选择完整 JavaScript 渲染、仅 HTML 渲染或无渲染
• 模拟移动和桌面视口以实现逼真的渲染
• 自动清理并将 HTML 转换为 Markdown，以提高可读性
• 使用自动解析器来解析 Google、Amazon 等热门目标。
• 以高成功率绕过复杂的机器人保护系统
• 可靠地抓取最复杂的网站
• 从覆盖 195 多个国家的代理池中获取自动轮换的 IP
• 如果需要，设置渲染和解析选项
• 直接将数据输入 AI 模型或分析工具
• 适用于 macOS、Windows 和 Linux
• 全面的错误处理和报告
• 智能速率限制和请求管理

💡 示例查询

当您使用Claude设置好 MCP 服务器后，您可以发出如下请求：

• 您能抓取https://www.google.com/search?q=ai页面吗？
• 启用解析功能，抓取https://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651V
• 启用解析和渲染功能，抓取https://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0
• 使用带有渲染功能的网页解锁器来抓取https://www.bestbuy.com/site/top-deals/all-electronics-on-sale/pcmcat1674241939957.c

✅ 先决条件

在开始之前，请确保您已：

• Oxylabs 帐户：从Oxylabs获取您的用户名和密码（可免费试用 1 周）

基本用法

通过 Smithery CLI：

• Node.js （v16+）
• npx命令行工具

通过紫外线：

• uv包管理器 – 使用本指南安装

本地/开发设置

• Python 3.12+
• uv包管理器 – 使用本指南安装

🧩 API 参数

Oxylabs MCP 服务器支持以下参数：

⚙️ 基本设置说明

通过 Smithery 安装

通过Smithery自动安装 Oxylabs MCP 服务器：

Oxylabs 目前支持的客户列表：

• 克劳德
• 光标

手动 MCP 配置选项

1. 使用uvx进行配置。将安装 CLI 客户端和 Oxylabs MCP 服务器，后者直接调用 Oxylabs API。推荐使用，目前最稳定的选项。
   { "mcpServers": { "oxylabs_scraper_uvx": { "command": "uvx", "args": [ "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }
2. 使用npx进行配置。将安装 Smithery CLI 客户端，该客户端执行对 Smithery 托管的 Oxylabs MCP 服务器的调用。
   { "mcpServers": { "oxylabs-mcp": { "command": "npx", "args": [ "-y", "@smithery/cli@latest", "run", "@oxylabs/oxylabs-mcp", "--config", "\"{\\\"oxylabsUsername\\\":\\\"OXYLABS_USERNAME\\\",\\\"oxylabsPassword\\\":\\\"OXYLABS_PASSWORD\\\"}\"" ] } } }
3. 使用uv进行配置。将安装 CLI 客户端和引用本地代码的 Oxylabs MCP 服务器。用于本地开发。
   { "mcpServers": { "oxylabs_scraper": { "command": "uv", "args": [ "--directory", "/<Absolute-path-to-folder>/oxylabs-mcp", "run", "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }

[!NOTE] 如果你没有uvx实用程序，则需要先使用brew install uv安装它

提示：如果使用uvx时遇到错误，请尝试在command字段中使用uvx的完整路径。例如， /Users/my-user/.local/bin/uvx .local/bin/uvx。如果您使用的是 Windows 系统，并且遇到 Cursor 问题，请参阅此处所述的指南。

使用 Claude Desktop 进行手动设置

导航到Claude → 设置 → 开发人员 → 编辑配置，并将上述配置之一添加到claude_desktop_config.json文件中。

使用 Cursor AI 进行手动设置

导航至Cursor → 设置 → Cursor 设置 → MCP 。点击添加新的全局 MCP 服务器，并添加上述配置之一。

💻 本地/开发环境设置说明

克隆存储库

安装依赖项

安装 MCP 服务器依赖项：

🐞 调试

然后通过http://localhost:5173访问 MCP Inspector。您可能需要在检查器中的OXYLABS_USERNAME和OXYLABS_PASSWORD下添加您的用户名和密码作为环境变量。

🛠️ 技术细节

该服务器提供两个主要工具：

1. oxylabs_scraper ：使用 Oxylabs Web Scraper API 进行一般网站抓取
2. oxylabs_web_unblocker ：使用 Oxylabs Web Unblocker 来访问难以访问的网站

Web Scraper API支持 JavaScript 渲染、解析结构化数据以及清理后的 Markdown 格式 HTML。Web Unblocker提供 JavaScript 渲染和清理后的 HTML，但不返回解析后的数据。

执照

该项目已获得MIT 许可。

关于Oxylabs

Oxylabs 成立于 2015 年，是市场领先的网络情报收集平台，以最高的商业、道德和合规标准为驱动力，使全球各地的公司能够获得数据驱动的洞察力。