scrapling-fetch-mcp

AIアシスタントがボット保護されたWebサイトからコンテンツを取得するのを支援します。Scrapling (patchright + curl-cffi) を使用して自動化対策を回避し、クリーンなHTMLまたはMarkdownを返します。

ドキュメントや参考資料の低頻度な取得に最適化されています。大量のスクレイピングやデータ収集を目的とした設計ではありません。

要件: Python 3.10+、uv

Claude Code Skill

最も簡単な利用方法はClaude Codeスキルとして使用することです。インストールすると、Claudeはユーザーが尋ねた際にボット保護されたURLを自動的に取得します。手動コマンドは不要です。

プロジェクトにインストール (推奨 — このプロジェクトのコンテキストでのみ読み込まれます):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch .claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup .claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

またはすべてのプロジェクトにインストール (どこでもコンテキストに読み込まれます):

git clone --depth=1 https://github.com/cyberchitta/scrapling-fetch-mcp /tmp/scrapling-fetch-mcp
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch ~/.claude/skills/
cp -r /tmp/scrapling-fetch-mcp/skills/s-fetch-setup ~/.claude/skills/
rm -rf /tmp/scrapling-fetch-mcp

その後、Claudeに /s-fetch-setup を実行するように依頼してください。ツールとブラウザバイナリ（大容量のダウンロード）がインストールされ、その後自己削除されます。以降は、自然に尋ねるだけで利用可能です:

"Fetch the docs at https://example.com/api"
"Find all mentions of 'authentication' on that page"
"Get me the installation instructions from their homepage"

Related MCP server: browser-use MCP Server

Claude Desktop (MCP Server)

すでに /s-fetch-setup を実行済みであれば、ツールはインストールされています。以下の設定に進んでください。

まだの場合は、先にインストールしてください:

uv tool install git+https://github.com/cyberchitta/scrapling-fetch-mcp
uvx --from git+https://github.com/cyberchitta/scrapling-fetch-mcp scrapling install

注意: ブラウザのインストールには数百MBのダウンロードが必要であり、初回使用前に完了している必要があります。サーバーがタイムアウトした場合は、数分待ってから再試行してください。

Claude DesktopのMCP設定に以下を追加し、再起動してください:

MacOS: ~/Library/Application Support/Claude/claude_desktop_config.json
Windows: %APPDATA%\Claude\claude_desktop_config.json

{
  "mcpServers": {
    "scrapling-fetch": {
      "command": "uvx",
      "args": ["scrapling-fetch-mcp"]
    }
  }
}

仕組み

Claudeによって自動的に使用される2つのツール:

• ページ取得 — ページネーション対応でページ全体を取得

• パターン抽出 — 正規表現に一致するコンテンツを検索

自動的にエスカレーションされる3つの保護レベル:

• basic — 高速 (1-2秒)、ほとんどのサイトで動作

• stealth — 中速 (3-8秒)、ヘッドレスChromium

• max-stealth — 低速 (10秒以上)、完全なブラウザフィンガープリント

制限事項

• テキストコンテンツのみ (ドキュメント、記事、参考資料)

• 大量のスクレイピングや認証が必要なサイトには不向き

• パフォーマンスはサイトの複雑さと保護レベルによって異なります

ライセンス

Apache 2.0