Oxylabs MCP Server

📖 概要

Oxylabs MCPサーバーは、AIモデルとWebの橋渡し役を果たします。これにより、AIモデルは任意のURLをスクレイピングし、JavaScriptを多用したページをレンダリングし、AI向けにコンテンツを抽出・フォーマットし、スクレイピング対策を回避し、195か国以上の地理的に制限されたWebデータにアクセスできるようになります。

この実装では、モデル コンテキスト プロトコル (MCP) を活用して、AI アシスタントが Web コンテンツと対話するための安全で標準化された方法を作成します。

✨ 主な特徴

• 複雑なシングルページアプリケーションを含むあらゆる URL からデータを抽出します
• ヘッドレスブラウザサポートを使用して動的なウェブサイトを完全にレンダリングします
• 完全なJavaScriptレンダリング、HTMLのみ、またはなしを選択します
• リアルなレンダリングのためにモバイルとデスクトップのビューポートをエミュレートします
• 読みやすさを向上させるために、HTML を自動的にクリーンアップして Markdown に変換します。
• Google、Amazon などの一般的なターゲットには自動パーサーを使用します。
• 高度なボット防御システムを高い成功率で回避
• 最も複雑なウェブサイトでも確実にスクレイピング
• 195か国以上をカバーするプロキシプールから自動的にローテーションするIPを取得します
• 必要に応じてレンダリングと解析のオプションを設定する
• AIモデルや分析ツールにデータを直接入力する
• macOS、Windows、Linuxで動作します
• 包括的なエラー処理とレポート
• スマートなレート制限とリクエスト管理

💡 クエリの例

Claudeを使用して MCP サーバーをセットアップすると、次のようなリクエストを行うことができます。

• https://www.google.com/search?q=aiページをスクレイピングしていただけますか?
• 解析を有効にしてhttps://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651Vをスクレイピングします。
• 解析とレンダリングを有効にしてhttps://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0をスクレイピングします。
• レンダリング機能を備えた Web アンブロッカーを使用して、 https://www.bestbuy.com/site/top-deals/all-electronics-on-sale/pcmcat1674241939957.cをスクレイピングします。

✅ 前提条件

始める前に、次のものを用意してください。

• Oxylabsアカウント: Oxylabsからユーザー名とパスワードを取得します（1週間の無料トライアルをご利用いただけます）

基本的な使い方

Smithery CLI 経由:

• Node.js (v16+)
• npxコマンドラインツール

UV経由:

• uvパッケージマネージャー –このガイドを使用してインストールします

ローカル/開発環境のセットアップ

• Python 3.12以上
• uvパッケージマネージャー –このガイドを使用してインストールします

🧩 APIパラメータ

Oxylabs MCP サーバーは次のパラメータをサポートしています。

⚙️ 基本的なセットアップ手順

Smithery経由でインストール

Smithery経由でOxylabs MCPサーバーを自動的にインストールします。

現在 Oxylabs がサポートしているクライアントのリスト:

• クロード
• カーソル

手動MCP構成オプション

1. uvxで設定します。CLIクライアントと、Oxylabs APIへの直接呼び出しを実行するOxylabs MCPサーバーがインストールされます。現時点では推奨され、最も安定したオプションです。
   { "mcpServers": { "oxylabs_scraper_uvx": { "command": "uvx", "args": [ "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }
2. npxで設定します。SmitheryでホストされているOxylabs MCPサーバーへの呼び出しを実行するSmithery CLIクライアントをインストールします。
   { "mcpServers": { "oxylabs-mcp": { "command": "npx", "args": [ "-y", "@smithery/cli@latest", "run", "@oxylabs/oxylabs-mcp", "--config", "\"{\\\"oxylabsUsername\\\":\\\"OXYLABS_USERNAME\\\",\\\"oxylabsPassword\\\":\\\"OXYLABS_PASSWORD\\\"}\"" ] } } }
3. uvで設定します。ローカルコードを参照するCLIクライアントとOxylabs MCPサーバーをインストールします。ローカル開発用です。
   { "mcpServers": { "oxylabs_scraper": { "command": "uv", "args": [ "--directory", "/<Absolute-path-to-folder>/oxylabs-mcp", "run", "oxylabs-mcp" ], "env": { "OXYLABS_USERNAME": "OXYLABS_USERNAME", "OXYLABS_PASSWORD": "OXYLABS_PASSWORD" } } } }

[!NOTE] uvxユーティリティがない場合は、まずbrew install uvでインストールする必要があります。

[!TIP] uvxでエラーが発生した場合は、 commandフィールドにuvxのフルパスを指定してみてください。例： /Users/my-user/.local/bin/uvx 。Windows をご使用でカーソルに関する問題が発生している場合は、こちらに記載されているガイドラインを参照してください。

Claude Desktop による手動セットアップ

Claude → 設定 → 開発者 → 構成の編集に移動し、上記の構成のいずれかをclaude_desktop_config.jsonファイルに追加します。

カーソルAIによる手動設定

**「カーソル」→「設定」→「カーソル設定」→「MCP」**に移動します。 **「新しいグローバルMCPサーバーを追加」**をクリックし、上記の設定のいずれかを追加します。

💻 ローカル/開発環境のセットアップ手順

リポジトリのクローン

依存関係をインストールする

MCP サーバーの依存関係をインストールします。

🐞 デバッグ

次に、MCP Inspector http://localhost:5173にアクセスします。インスペクターの環境変数OXYLABS_USERNAMEとOXYLABS_PASSWORDに、ユーザー名とパスワードを追加する必要がある場合があります。

🛠️ 技術的な詳細

このサーバーは主に 2 つのツールを提供します。

1. oxylabs_scraper : 一般的なウェブサイトのスクレイピングに Oxylabs Web Scraper API を使用します
2. oxylabs_web_unblocker : アクセスが困難なウェブサイトには Oxylabs Web Unblocker を使用します

Web Scraper APIは、JavaScriptレンダリング、解析済み構造化データ、Markdown形式のクリーンアップ済みHTMLをサポートしています。Web UnblockerはJavaScriptレンダリングとクリーンアップ済みHTMLを提供しますが、解析済みデータは返しません。

ライセンス

このプロジェクトはMIT ライセンスに基づいてライセンスされています。

オキシラボについて

2015 年に設立された Oxylabs は、最高のビジネス、倫理、コンプライアンス標準に基づいて運営される、市場をリードする Web インテリジェンス収集プラットフォームであり、世界中の企業がデータに基づく洞察を解き放つことを可能にしています。