@robot-resources/scraper-mcp

⚠️ 非推奨 — @robot-resources/scraper に統合されました。 このMCPサーバーは、メインのスクレイパーパッケージ内の組み込み scraper-mcp バイナリとして提供されるようになりました。1つのパッケージをインストールするだけでMCPが利用可能です。npx robot-resources --for=cursor または npx robot-resources --for=claude-code で自動設定できます。以下のツール（scraper_compress_url、scraper_crawl_url）およびパラメータに変更はありません。

Scraper用MCPサーバー — AIエージェントのためのコンテキスト圧縮。

Robot Resourcesとは？

AIエージェントのための「人事部（Human Resources）」です。

Robot Resourcesは、AIエージェントに2つのスーパーパワーを与えます：

• ルーター — 各LLM呼び出しを、最も安価で有能なモデルにルーティングします。OpenAI、Anthropic、Google全体で60〜90%のコスト削減を実現します。

• スクレイパー — WebページをクリーンなMarkdownに圧縮します。ページあたりのトークン数を70〜80%削減します。

どちらもローカルで実行されます。APIキーがマシンから外部へ送信されることはありません。無料、無制限、ティア制限なし。

フルスイートのインストール

npx robot-resources

1つのコマンドですべてがセットアップされます。詳細は robotresources.ai をご覧ください。

このMCPサーバーについて

このパッケージは、Model Context Protocol を介してWebコンテンツをトークン効率の良いMarkdownに圧縮するための2つのツール（シングルページ圧縮とマルチページBFSクロール）をAIエージェントに提供します。

インストール

npx @robot-resources/scraper-mcp

またはグローバルにインストール：

npm install -g @robot-resources/scraper-mcp

Claude Desktopの設定

claude_desktop_config.json に以下を追加します：

{
  "mcpServers": {
    "scraper": {
      "command": "npx",
      "args": ["-y", "@robot-resources/scraper-mcp"]
    }
  }
}

ツール

scraper_compress_url

単一のWebページを70〜90%少ないトークンのMarkdownに圧縮します。

パラメータ：

プロンプト例: "Compress https://docs.example.com/getting-started"

scraper_crawl_url

BFSリンク探索を使用して、開始URLから複数のページをクロールします。

パラメータ：

プロンプト例: "Crawl the docs at https://docs.example.com with max 20 pages"

フェッチモード

Stealthには impit が、renderには playwright が @robot-resources/scraper のピア依存関係として必要です。

要件

• Node.js 18以上

関連プロジェクト

• @robot-resources/scraper - コア圧縮ライブラリ

• @robot-resources/router-mcp - LLMコスト最適化用MCPサーバー

• Robot Resources - AIエージェントのための人事部

ライセンス

MIT