UseScraper MCPサーバー

これは、UseScraper APIを使用したWebスクレイピング機能を提供するTypeScriptベースのMCPサーバーです。様々な形式のWebページからコンテンツを抽出できるツール「scrape」を公開しています。

特徴

ツール

• scrape - ウェブページからコンテンツを抽出する

  • パラメータ:

    • url (必須): スクレイピングするウェブページのURL

    • format （オプション）: コンテンツを保存する形式（text、html、markdown）。デフォルト: markdown

    • advanced_proxy （オプション）: ボット検出を回避するために高度なプロキシを使用します。デフォルト: false

    • extract_object (オプション): 抽出するデータを指定するオブジェクト

Related MCP server: MD Webcrawl MCP

インストール

Smithery経由でインストール

Smithery経由で Claude Desktop 用の UseScraper を自動的にインストールするには:

npx -y @smithery/cli install usescraper-server --client claude

手動インストール

1. リポジトリをクローンします。

   git clone https://github.com/your-repo/usescraper-server.git
   cd usescraper-server

2. 依存関係をインストールします:

   npm install

3. サーバーを構築します。

   npm run build

構成

Claude Desktop で使用するには、サーバー設定を追加します。

MacOS の場合: ~/Library/Application Support/Claude/claude_desktop_config.json Windows の場合: %APPDATA%/Claude/claude_desktop_config.json

{
  "mcpServers": {
    "usescraper-server": {
      "command": "node",
      "args": ["/path/to/usescraper-server/build/index.js"],
      "env": {
        "USESCRAPER_API_KEY": "your-api-key-here"
      }
    }
  }
}

/path/to/usescraper-serverサーバーの実際のパスに置き換え、 your-api-key-here UseScraper API キーに置き換えます。

使用法

設定が完了すると、MCPインターフェースから「スクレイプ」ツールを使用できるようになります。使用例：

{
  "name": "scrape",
  "arguments": {
    "url": "https://example.com",
    "format": "markdown"
  }
}

発達

自動リビルドを使用した開発の場合:

npm run watch

デバッグ

MCPサーバーはstdio経由で通信するため、デバッグが困難になる場合があります。パッケージスクリプトとして提供されているMCP Inspectorの使用をお勧めします。

npm run inspector

インスペクターは、ブラウザでデバッグ ツールにアクセスするための URL を提供します。