Proofworks — una habilidad de investigación que verifica sus propias citas

Proofworks es una habilidad de investigación del lado del cliente para agentes de IA. Convierte un borrador con citas en un borrador anotado: para cada afirmación que cita una fuente, obtiene la fuente, comprueba la afirmación contra ella y dice por qué — con un pasaje de apoyo cuando se verifica, y una negativa honesta cuando no.

• Sin servidor alojado, sin MCP, sin clave API, sin cuenta. Se ejecuta dentro de tu agente, en su propia máquina y con su propio modelo.

• El producto es la habilidad — un procedimiento operativo SKILL.md más dos pequeños scripts auxiliares. Este repositorio es tanto la fuente como la habilidad.

• La honestidad es el punto. La verificación es una comprobación en dos pasadas. Una primera pasada determinista pregunta si la cita o el número exacto aparece en la fuente obtenida. Todo lo demás pasa a una pasada de juicio estricta y vinculada a la fuente.

Inicio rápido

Dale a cualquier agente esta línea (funciona con Claude Code, Codex, OpenCode, Windsurf, Cursor, Copilot, o cualquier agente que pueda obtener una URL):

Fetch and execute the setup instructions for the Proofworks skill from @url:https://sentrylab.app/agent-setup/prompt.md

El agente clona este repositorio, lee skill/proofworks-verifier/SKILL.md y adopta el bucle de verificación y relleno.

Related MCP server: footnote

Qué hay en el repositorio

• skill/proofworks-verifier/ — el producto

  • SKILL.md — el procedimiento operativo que sigue un agente

  • references/loop.md — el protocolo del bucle de verificación y relleno + esquema JSON

  • scripts/fetch_source.py — obtención determinista + convertir una URL a texto

  • scripts/presence_match.py — comprobación de presencia literal de cita/número

  • tests/test_helpers.py — pruebas de regresión para los ayudantes

• src/ — el Worker de Cloudflare que sirve la página de aterrizaje y los archivos estáticos que un agente necesita para encontrar y adoptar la habilidad:

  • / — la página de aterrizaje de marketing

  • /agent-setup/prompt.md — el prompt de instalación de la habilidad en una línea (la superficie del producto)

  • /llms.txt, /robots.txt, /sitemap.xml, /.well-known/*, claves IndexNow

Cómo funciona la verificación

claim + cited source
  │ 1. fetch (deterministic)          — fetch_source.py
  v
 source text
  │ 2. presence pass (deterministic)  — presence_match.py
  v
 present? ──yes──► verified   (record the matching passage)
  │ no
  v
 3. semantic pass (LLM, source-only): does the source support the claim as written?
  │
 supported? ──yes──► verified
  │ no
  v
 4. backfill: find one extra source for the claim as written
  │
  pass ──► verified (add the extra source) · fail ──► unsupported / exhausted

Por cada afirmación, la habilidad informa: verified (con el pasaje coincidente), o unsupported / exhausted. Si el hecho de una afirmación es incorrecto pero ninguna fuente lo respalda ("La Torre Eiffel está en Miami"), la afirmación permanece unsupported y la habilidad señala una corrección propuesta — el usuario decide. Las correcciones nunca se aplican en silencio.

Desarrollo

El Worker es TypeScript en Cloudflare Workers.

npm install
npm run typecheck   # tsc --noEmit
npx wrangler dev --local --port 8787   # local dev
npx wrangler deploy                    # production (sentrylab.app)

Advertencia para ediciones en src/ui.ts y src/agent.ts: la página de aterrizaje y el contenido de la habilidad son literales de plantilla TypeScript. Un solo \n o un backtick sin escapar dentro de uno se convierte en un salto de línea real / termina el literal en la salida servida — rompiendo la página silenciosamente. Usa \\n y \` y verifica los bytes servidos (python3 hex dump) además de node --check en el script en línea extraído después de tocarlos.

Licencia

MIT