📖 概要
Oxylabs MCPサーバーは、AIモデルとWebの橋渡し役を果たします。これにより、AIモデルは任意のURLをスクレイピングし、JavaScriptを多用したページをレンダリングし、AI向けにコンテンツを抽出・フォーマットし、スクレイピング対策を回避し、195か国以上の地理的に制限されたWebデータにアクセスできるようになります。
この実装では、モデル コンテキスト プロトコル (MCP) を活用して、AI アシスタントが Web コンテンツと対話するための安全で標準化された方法を作成します。
✨ 主な特徴
- 複雑なシングルページアプリケーションを含むあらゆる URL からデータを抽出します
- ヘッドレスブラウザサポートを使用して動的なウェブサイトを完全にレンダリングします
- 完全なJavaScriptレンダリング、HTMLのみ、またはなしを選択します
- リアルなレンダリングのためにモバイルとデスクトップのビューポートをエミュレートします
- 読みやすさを向上させるために、HTML を自動的にクリーンアップして Markdown に変換します。
- Google、Amazon などの一般的なターゲットには自動パーサーを使用します。
- 高度なボット防御システムを高い成功率で回避
- 最も複雑なウェブサイトでも確実にスクレイピング
- 195か国以上をカバーするプロキシプールから自動的にローテーションするIPを取得します
- 必要に応じてレンダリングと解析のオプションを設定する
- AIモデルや分析ツールにデータを直接入力する
- macOS、Windows、Linuxで動作します
- 包括的なエラー処理とレポート
- スマートなレート制限とリクエスト管理
💡 クエリの例
Claudeを使用して MCP サーバーをセットアップすると、次のようなリクエストを行うことができます。
https://www.google.com/search?q=ai
ページをスクレイピングしていただけますか?- 解析を有効にして
https://www.amazon.de/-/en/Smartphone-Contract-Function-Manufacturer-Exclusive/dp/B0CNKD651V
をスクレイピングします。 - 解析とレンダリングを有効にして
https://www.amazon.de/-/en/gp/bestsellers/beauty/ref=zg_bs_nav_beauty_0
をスクレイピングします。 - レンダリング機能を備えた Web アンブロッカーを使用して、
https://www.bestbuy.com/site/top-deals/all-electronics-on-sale/pcmcat1674241939957.c
をスクレイピングします。
✅ 前提条件
始める前に、次のものを用意してください。
- Oxylabsアカウント: Oxylabsからユーザー名とパスワードを取得します(1週間の無料トライアルをご利用いただけます)
基本的な使い方
Smithery CLI 経由:
- Node.js (v16+)
npx
コマンドラインツール
UV経由:
uv
パッケージマネージャー –このガイドを使用してインストールします
ローカル/開発環境のセットアップ
- Python 3.12以上
uv
パッケージマネージャー –このガイドを使用してインストールします
🧩 APIパラメータ
Oxylabs MCP サーバーは次のパラメータをサポートしています。
パラメータ | 説明 | 価値観 |
---|---|---|
url | スクレイピングするURL | 有効なURL |
parse | 構造化データ抽出を有効にする | True かFalse |
render | ヘッドレスブラウザレンダリングを使用する | html またNone |
⚙️ 基本的なセットアップ手順
Smithery経由でインストール
Smithery経由でOxylabs MCPサーバーを自動的にインストールします。
現在 Oxylabs がサポートしているクライアントのリスト:
- クロード
- カーソル
手動MCP構成オプション
uvx
で設定します。CLIクライアントと、Oxylabs APIへの直接呼び出しを実行するOxylabs MCPサーバーがインストールされます。現時点では推奨され、最も安定したオプションです。npx
で設定します。SmitheryでホストされているOxylabs MCPサーバーへの呼び出しを実行するSmithery CLIクライアントをインストールします。uv
で設定します。ローカルコードを参照するCLIクライアントとOxylabs MCPサーバーをインストールします。ローカル開発用です。
[!NOTE]
uvx
ユーティリティがない場合は、まずbrew install uv
でインストールする必要があります。
[!TIP]
uvx
でエラーが発生した場合は、command
フィールドにuvx
のフルパスを指定してみてください。例:/Users/my-user/.local/bin/uvx
。Windows をご使用でカーソルに関する問題が発生している場合は、こちらに記載されているガイドラインを参照してください。
Claude Desktop による手動セットアップ
Claude → 設定 → 開発者 → 構成の編集に移動し、上記の構成のいずれかをclaude_desktop_config.json
ファイルに追加します。
カーソルAIによる手動設定
**「カーソル」→「設定」→「カーソル設定」→「MCP」**に移動します。 **「新しいグローバルMCPサーバーを追加」**をクリックし、上記の設定のいずれかを追加します。
💻 ローカル/開発環境のセットアップ手順
リポジトリのクローン
依存関係をインストールする
MCP サーバーの依存関係をインストールします。
🐞 デバッグ
次に、MCP Inspector http://localhost:5173
にアクセスします。インスペクターの環境変数OXYLABS_USERNAME
とOXYLABS_PASSWORD
に、ユーザー名とパスワードを追加する必要がある場合があります。
ライセンス
このプロジェクトはMIT ライセンスに基づいてライセンスされています。
オキシラボについて
2015 年に設立された Oxylabs は、最高のビジネス、倫理、コンプライアンス標準に基づいて運営される、市場をリードする Web インテリジェンス収集プラットフォームであり、世界中の企業がデータに基づく洞察を解き放つことを可能にしています。
You must be authenticated.
hybrid server
The server is able to function both locally and remotely, depending on the configuration or use case.
Oxylabs Web Scraper API を活用して、ページの解析とレンダリングのための柔軟なオプションを使用して Web コンテンツを取得および処理し、複雑な Web サイトから効率的にコンテンツを抽出できるようにするスクレーパー ツールです。
Related Resources
Related MCP Servers
- AsecurityFlicenseAqualityA server that provides tools to scrape websites and extract structured data from them using Firecrawl's APIs, supporting both basic website scraping in multiple formats and custom schema-based data extraction.Last updated -2JavaScript
- -securityFlicense-qualityProvides functionality to fetch and transform web content in various formats (HTML, JSON, plain text, and Markdown) through simple API calls.Last updated -125,855TypeScript
- AsecurityFlicenseAqualityInteract with WebScraping.AI API for web data extraction and scrapingLast updated -7852JavaScript
- -securityFlicense-qualityEnables intelligent web scraping through a browser automation tool that can search Google, navigate to webpages, and extract content from various websites including GitHub, Stack Overflow, and documentation sites.Last updated -1Python