ScraperAPI MCPサーバー

ScraperAPI MCPサーバーは、LLMクライアントがScraperAPIサービスを使用してWebスクレイピングリクエストを取得および処理できるようにします。

目次

• 機能

• アーキテクチャ

• インストール

• APIリファレンス

• 設定

  • Claude Desktopアプリ & Claude Code

  • Cursor

  • Windsurf

  • Cline

• 開発

機能

• Model Context Protocol仕様の完全実装

• WebスクレイピングのためのScraperAPIとのシームレスな統合

• PythonまたはDockerによる簡単なセットアップ

アーキテクチャ

          ┌───────────────┐     ┌───────────────────────┐     ┌───────────────┐
          │  LLM Client   │────▶│  Scraper MCP Server   │────▶│    AI Model   │
          └───────────────┘     └───────────────────────┘     └───────────────┘
                                            │
                                            ▼
                                  ┌──────────────────┐
                                  │  ScraperAPI API  │
                                  └──────────────────┘

インストール

ScraperAPI MCPサーバーは、マシン上でローカルサーバーとして実行するように設計されており、設定時にLLMクライアントが自動的に起動します。

前提条件

• Python 3.11+

• Docker (オプション)

Pythonを使用する場合

パッケージをインストールします：

pip install scraperapi-mcp-server

クライアント設定ファイルに以下を追加します：

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "python",
      "args": ["-m", "scraperapi_mcp_server"],
      "env": {
        "API_KEY": "<YOUR_SCRAPERAPI_API_KEY>"
      }
    }
  }
}

Dockerを使用する場合

クライアント設定ファイルに以下を追加します：

{
  "mcpServers": {
    "ScraperAPI": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "-e",
        "API_KEY=${API_KEY}",
        "--rm",
        "scraperapi-mcp-server"]
    }
  }
}

which <YOUR_COMMAND>

APIリファレンス

利用可能なツール

• scrape

  • ScraperAPIを使用してインターネットからURLをスクレイピングします

  • パラメータ:

    • url (string, 必須): スクレイピングするURL

    • render (boolean, オプション): JavaScriptを使用してページをレンダリングするかどうか。デフォルトは False。コンテンツを表示するためにJavaScriptレンダリングが必要なページでのみ True に設定してください。

    • country_code (string, オプション): 国別のジオターゲティングを有効にします（ISO 2文字コード）

    • premium (boolean, オプション): プレミアムレジデンシャルIPおよびモバイルIPを有効にします

    • ultra_premium (boolean, オプション): 高度なバイパスメカニズムを有効にします。premium とは併用できません

    • device_type (string, オプション): リクエストで mobile または desktop ユーザーエージェントを使用するように設定します

    • output_format (string, オプション): レスポンスのファイルタイプを指定できます。

    • autoparse (boolean, オプション): 特定のWebサイトで自動解析を有効にします。デフォルトは False。出力形式を csv または json にしたい場合のみ True に設定してください。

  • 戻り値: スクレイピングされたコンテンツ（文字列）

プロンプトテンプレート

• このURL <URL> をスクレイピングしてください。500サーバーエラーが発生した場合は、Webサイトのジオターゲティングを特定し、対応する country_code を追加して地理的制限を回避してください。エラーが続く場合は、premium=true を追加してプレミアムプロキシを使用するようにリクエストをアップグレードしてください。それでも失敗する場合は、ultra_premium=true を有効にして強化されたアンチブロッキング対策を使用してください。

• URL <URL> をスクレイピングして <SPECIFIC_DATA> を抽出できますか？リクエストが <SPECIFIC_DATA> を欠落または不完全な状態で返す場合は、render=true を設定してJSレンダリングを有効にしてください。

設定

設定項目

• API_KEY: ScraperAPIのAPIキー。

Claude Desktopアプリ & Claude Codeの設定

Claude Desktop:

1. Claude Desktopを開き、設定アイコンをクリックします

2. 「Developer」タブを選択します

3. 「Edit Config」をクリックし、JSON設定ファイルを貼り付けます

Claude Code:

1. JSON設定ファイルを使用して .claude/settings.json にサーバーを手動で追加するか、以下を実行します：

   claude mcp add scraperapi -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> -- python -m scraperapi_mcp_server

Cursorエディタの設定

1. Cursorを開きます

2. 設定メニューにアクセスします

3. Cursor設定を開きます

4. 「Tools & Integrations」セクションに移動します

5. 「+ Add MCP Server」をクリックします

6. 「Manual」を選択し、JSON設定ファイルを貼り付けます

詳細はこちら：https://cursor.com/docs/context/mcp#servers

Windsurfエディタの設定

1. Windsurfを開きます

2. 設定メニューにアクセスします

3. Cascade設定をクリックします

4. MCPサーバーセクションをクリックします

5. 歯車アイコンをクリックすると mcp_config.json ファイルが開きます

6. JSON設定ファイルを貼り付けます

詳細はこちら：https://docs.windsurf.com/windsurf/cascade/mcp#adding-a-new-mcp

Cline (VS Code拡張機能) の設定

1. VS Codeを開き、アクティビティバーのClineアイコンをクリックしてClineパネルを開きます

2. Clineペインの上部ナビゲーションバーにあるMCPサーバーアイコンをクリックします

3. 「Configure」タブを選択します

4. ペイン下部の「Configure MCP Servers」をクリックします。これにより cline_mcp_settings.json が開きます

5. JSON設定ファイルを貼り付けます

詳細はこちら：https://www.cline.bot/mcp/adding-and-configuring-servers#editing-configuration-files

開発

ローカルセットアップ

1. リポジトリをクローンします：

   git clone https://github.com/scraperapi/scraperapi-mcp
   cd scraperapi-mcp

2. 依存関係をインストールします：

   • Poetryを使用する場合：

     poetry install

   • pipを使用する場合：

     # Create virtual environment and activate it
     python -m venv .venv
     source .venv/bin/activate # MacOS/Linux
     # OR
     .venv/Scripts/activate # Windows
     
     # Install the local package in editable mode
     pip install -e .

   • Dockerを使用する場合：

     # Build the Docker image locally
     docker build -t scraperapi-mcp-server .

サーバーの実行

• Pythonを使用する場合：

  python -m scraperapi_mcp_server

• Dockerを使用する場合：

  # Run the Docker container with your API key
  docker run -e API_KEY=<YOUR_SCRAPERAPI_API_KEY> scraperapi-mcp-server

デバッグ

python3 -m scraperapi_mcp_server --debug

テスト

このプロジェクトではテストに pytest を使用しています。

テスト依存関係のインストール

• Poetryを使用する場合：

  poetry install --with dev

• pipを使用する場合：

  pip install -e .
  pip install pytest pytest-mock pytest-asyncio

テストの実行

# Run All Tests
pytest

# Run Specific Test
pytest <TEST_FILE_PATH>