HyperCrawl

自托管、支持 Cookie 的 Web 自动化引擎。可将任意网站转换为可调用的 MCP 工具（基于 DOM 选择器），在我们的服务器上以无头模式隐蔽运行，并按需从真实登录的浏览器中拉取实时身份验证 Cookie。内部 NEB 工具——与 Apify 协同工作。

状态：已在 hypercrawl-vm GCE 虚拟机上投入生产（Caddy 自动 TLS + Firebase-Auth 网关，hypercrawl.service）。功能：acquire()能力阶梯（hypercrawl_acquire — API 重放/水合 → 学习到的工具 → DOM 代理 → 标记集 → 视觉 → 专家），多页面发现（hypercrawl_map、hypercrawl_crawl_site），跨爬取变更跟踪（无状态 previousHashes 或基于数据库的 track 流，两者都是意图），Web 搜索（hypercrawl_search），外加 HTTP MCP 传输、ProxyPool 和 Apify 回退适配器。参见 docs/USAGE.md（工具）和 deploy/gcp/README.md（部署/更新——包括必需的 npm install + npx playwright install 步骤）。

浏览器会话

除了一次性获取之外，HyperCrawl 还提供了一个有状态的浏览器表面：15 个 hypercrawl_browser_* MCP 工具可跨多次调用驱动同一个实时页面，因此代理可以读取页面、点击进入、填写表单并提交——每一步都落在同一个标签页上。hypercrawl_browser_open 返回一个 sessionId，其他每个工具都接受该 ID。

会话是一种有界资源：每个会话都会固定一个真实的 Chromium 上下文，因此服务器会限制并发数（HYPERCRAWL_MAX_SESSIONS，默认 4），并清理空闲超过五分钟的会话。完成后请关闭你的会话。未知的 sessionId 会引发明确的错误，而绝不会静默地返回一个新页面。

除此之外：hypercrawl_analyze / hypercrawl_quality（页面结构，以及存储模板的选择器是否仍能针对实时页面解析——这是重新设计破坏它的信号），hypercrawl_auth_save / _auth_list，以及 hypercrawl_metrics / _events / _speed / _setup 用于进程内可观测性。工具参考和所有环境变量：docs/USAGE.md。

只有通过 hypercrawl serve 启动服务器时，两个功能才会被接入——身份验证对和 hypercrawl_setup——因为它们的实现位于 CLI 包中。未接入时，它们会明确说明这一点，而不是返回一个会被解读为“未配置任何内容”的空结果。

部署到 GCP

要在带有 Caddy 自动 TLS 和 Firebase Auth 令牌网关的专用 GCE 虚拟机上运行完整的引擎（包括经过身份验证的 Cookie 拉取抓取），请使用 deploy/gcp/README.md 中的幂等配置脚本和操作手册。设计：docs/superpowers/specs/2026-05-29-hypercrawl-gcp-deploy-design.md。