HyperCrawl

Motor de automatización web autohospedado y consciente de cookies. Convierte cualquier sitio web en herramientas MCP invocables (basadas en selectores DOM), las ejecuta en modo headless con sigilo en nuestros propios servidores y extrae cookies de autenticación en vivo bajo demanda desde un navegador real con sesión iniciada. Herramienta interna de NEB: funciona junto con Apify.

Estado: en producción en la VM de GCE hypercrawl-vm (Caddy auto-TLS + puerta de Firebase-Auth, hypercrawl.service). Capacidades: la escalera de capacidades acquire() (hypercrawl_acquire — replay/hidratación de API → herramienta aprendida → agente DOM → conjunto de marcas → visión → especialista), descubrimiento multipágina (hypercrawl_map, hypercrawl_crawl_site), seguimiento de cambios entre rastreos (previousHashes sin estado o flujos track con respaldo en BD, ambas intenciones), búsqueda web (hypercrawl_search), además de transporte HTTP MCP, ProxyPool y el adaptador de respaldo de Apify. Consulta docs/USAGE.md (herramientas) y deploy/gcp/README.md (despliegue/actualización — incluye los pasos necesarios de npm install + npx playwright install).

Sesiones de navegador

Más allá de la adquisición de una sola vez, HyperCrawl expone una superficie de navegador con estado: 15 herramientas MCP hypercrawl_browser_* que manejan una única página activa a lo largo de muchas llamadas, por lo que un agente puede leer una página, hacer clic en ella, rellenar un formulario y enviarlo; cada paso aterriza en la misma pestaña. hypercrawl_browser_open devuelve un sessionId que todas las demás herramientas reciben.

Las sesiones son un recurso limitado: cada una fija un contexto real de Chromium, por lo que el servidor limita la concurrencia (HYPERCRAWL_MAX_SESSIONS, por defecto 4) y elimina las sesiones inactivas después de cinco minutos. Cierra la tuya cuando termines. Un sessionId desconocido es un error rotundo, nunca una página nueva en silencio.

Junto a ellas: hypercrawl_analyze / hypercrawl_quality (estructura de la página, y si los selectores de una plantilla almacenada siguen resolviéndose en la página activa — la señal de que un rediseño la rompió), hypercrawl_auth_save / _auth_list, y hypercrawl_metrics / _events / _speed / _setup para la observabilidad dentro del proceso. Referencia de herramientas y todas las variables de entorno: docs/USAGE.md.

Dos capacidades solo se conectan cuando el servidor se inicia mediante hypercrawl serve — el par de autenticación y hypercrawl_setup — porque sus implementaciones residen en el paquete CLI. Cuando no están conectadas, lo indican en lugar de devolver un resultado vacío que se leería como «nada configurado».

Despliegue en GCP

Para ejecutar el motor completo (incluido el scraping con extracción de cookies autenticadas) en una VM de GCE dedicada con Caddy auto-TLS y una puerta de token de Firebase Auth, usa los scripts de aprovisionamiento idempotentes y el runbook de operador en deploy/gcp/README.md. Diseño: docs/superpowers/specs/2026-05-29-hypercrawl-gcp-deploy-design.md.