HyperCrawl

Самостоятельно размещаемый движок веб-автоматизации с поддержкой cookie. Превращает любой сайт в вызываемые MCP-инструменты (на основе DOM-селекторов), запускает их в headless-режиме со stealth на наших серверах и по запросу получает живые авторизационные cookie из реального браузера, в котором выполнен вход. Внутренний инструмент NEB — работает вместе с Apify.

Статус: продакшн на GCE VM hypercrawl-vm (Caddy auto-TLS + шлюз Firebase-Auth, hypercrawl.service). Возможности: лестница возможностей acquire() (hypercrawl_acquire — повтор/гидратация API → выученный инструмент → DOM-агент → set-of-marks → зрение → специалист), многостраничное обнаружение (hypercrawl_map, hypercrawl_crawl_site), отслеживание изменений между обходами (stateless previousHashes или track-потоки на основе БД, оба интента), веб-поиск (hypercrawl_search), а также HTTP MCP-транспорт, ProxyPool и запасной адаптер Apify. См. docs/USAGE.md (инструменты) и deploy/gcp/README.md (развертывание/обновление — включает необходимые шаги npm install + npx playwright install).

Браузерные сессии

Помимо разового получения возможностей, HyperCrawl предоставляет stateful-интерфейс браузера: 15 MCP-инструментов hypercrawl_browser_*, которые управляют одной живой страницей в рамках многих вызовов, так что агент может прочитать страницу, кликнуть по ней, заполнить форму и отправить её — каждый шаг оказывается на той же вкладке. hypercrawl_browser_open возвращает sessionId, который принимает каждый остальной инструмент.

Сессии — ограниченный ресурс: каждая занимает реальный контекст Chromium, поэтому сервер ограничивает параллелизм (HYPERCRAWL_MAX_SESSIONS, по умолчанию 4) и вычищает сессии, бездействующие более пяти минут. Закрывайте свои, когда закончите. Неизвестный sessionId — это явная ошибка, а не бесшумное открытие новой страницы.

Наряду с ними: hypercrawl_analyze / hypercrawl_quality (структура страницы и проверка того, разрешаются ли селекторы сохранённого шаблона на живой странице — сигнал того, что редизайн сломал её), hypercrawl_auth_save / _auth_list, а также hypercrawl_metrics / _events / _speed / _setup для внутрипроцессной наблюдаемости. Справочник инструментов и все переменные окружения: docs/USAGE.md.

Две возможности подключаются только при запуске сервера через hypercrawl serve — пара auth и hypercrawl_setup — потому что их реализации находятся в CLI-пакете. В неподключённом состоянии они сообщают об этом, а не возвращают пустой результат, который можно было бы прочитать как «ничего не настроено».

Развертывание в GCP

Чтобы запустить полный движок (включая авторизованный скрапинг с извлечением cookie) на выделенной GCE VM с Caddy auto-TLS и шлюзом Firebase Auth token, используйте идемпотентные скрипты подготовки и операционный ранбук в deploy/gcp/README.md. Дизайн: docs/superpowers/specs/2026-05-29-hypercrawl-gcp-deploy-design.md.