HyperCrawl

Self-hosted、Cookie対応ウェブ自動化エンジン。あらゆるウェブサイトを呼び出し可能なMCPツール（DOMセレクタベース）に変換し、自社サーバー上でステルス性を保ちながらヘッドレスで実行し、実際にログイン済みのブラウザからライブ認証Cookieをオンデマンドで取得します。社内NEBツール — Apify と併用します。

ステータス: hypercrawl-vm GCE VM 上で本番稼働中（Caddy auto-TLS + Firebase-Auth ゲート、hypercrawl.service）。機能: acquire() ケイパビリティラダー（hypercrawl_acquire — APIリプレイ/ハイドレーション → 学習ツール → DOMエージェント → set-of-marks → ビジョン → スペシャリスト）、マルチページディスカバリ（hypercrawl_map、hypercrawl_crawl_site）、クロスクロール変更追跡（ステートレスな previousHashes または DB バックエンドの track ストリーム、両方のインテント）、ウェブ検索（hypercrawl_search）、さらに HTTP MCP トランスポート、ProxyPool、Apify フォールバックアダプタ。docs/USAGE.md（ツール）と deploy/gcp/README.md（デプロイ/更新 — 必要な npm install + npx playwright install 手順を含む）を参照してください。

ブラウザセッション

ワンショット取得に加えて、HyperCrawl はステートフルなブラウザサーフェスを公開します。15 個の hypercrawl_browser_* MCP ツールが単一のライブページを多数の呼び出しにわたって操作するため、エージェントはページを読んで、クリックし、フォームに入力し、送信することができ、各ステップは同じタブに着地します。hypercrawl_browser_open は sessionId を返し、他のすべてのツールはそれを受け取ります。

セッションは有限のリソースです。各セッションは実際の Chromium コンテキストを固定するため、サーバーは並行数を上限（HYPERCRAWL_MAX_SESSIONS、デフォルト 4）に制限し、5 分を超えてアイドル状態のセッションを掃除します。終わったら自分のセッションを閉じてください。未知の sessionId は、黙って新しいページを返すのではなく、明確なエラーになります。

これらに加えて: hypercrawl_analyze / hypercrawl_quality（ページ構造、および保存済みテンプレートのセレクタがライブページに対して引き続き解決されるかどうか — リデザインで壊れたことを示すシグナル）、hypercrawl_auth_save / _auth_list、さらにプロセス内オブザーバビリティのための hypercrawl_metrics / _events / _speed / _setup。ツールリファレンスとすべての環境変数: docs/USAGE.md。

2 つの機能は、サーバーが hypercrawl serve 経由で起動された場合にのみ有効化されます — 認証ペアと hypercrawl_setup — 実装が CLI パッケージにあるためです。有効化されていない場合、それらは「何も設定されていない」と読める空の結果を返すのではなく、その旨を伝えます。

Related MCP server: OmniMCP

GCP へのデプロイ

専用の GCE VM 上で完全なエンジン（認証付き Cookie プルスクレイピングを含む）を、Caddy auto-TLS と Firebase Auth トークンゲートとともに実行するには、deploy/gcp/README.md の冪等なプロビジョニングスクリプトとオペレーターランブックを使用してください。設計: docs/superpowers/specs/2026-05-29-hypercrawl-gcp-deploy-design.md