Proofworks — eine Research-Fähigkeit, die ihre eigenen Zitate verifiziert

Proofworks ist eine clientseitige Research-Fähigkeit für KI-Agenten. Es verwandelt einen zitierten Entwurf in einen annotierten Entwurf: Für jede Behauptung, die eine Quelle zitiert, ruft es die Quelle ab, prüft die Behauptung gegen sie und sagt warum — mit einem unterstützenden Passus, wenn sie verifiziert ist, und einer ehrlichen Ablehnung, wenn nicht.

• Kein gehosteter Server, kein MCP, kein API-Schlüssel, kein Konto. Es läuft in deinem Agenten, auf seiner eigenen Maschine und mit seinem eigenen Modell.

• Das Produkt ist die Fähigkeit — eine SKILL.md-Betriebsanleitung plus zwei kleine Hilfsskripte. Dieses Repo ist sowohl die Quelle als auch die Fähigkeit.

• Ehrlichkeit ist der Punkt. Die Verifizierung ist ein zweistufiger Check. Ein deterministischer erster Durchgang prüft, ob das exakte Zitat oder die Zahl in der abgerufenen Quelle vorkommt. Alles andere geht an einen strengen, quellenbezogenen Urteilsdurchgang.

Schnellstart

Gib jedem Agenten diese eine Zeile (funktioniert mit Claude Code, Codex, OpenCode, Windsurf, Cursor, Copilot oder jedem Agenten, der eine URL abrufen kann):

Fetch and execute the setup instructions for the Proofworks skill from @url:https://sentrylab.app/agent-setup/prompt.md

Der Agent klont dieses Repo, liest skill/proofworks-verifier/SKILL.md und übernimmt die Verify-and-Backfill-Schleife.

Related MCP server: Browser Proof

Was ist im Repo

• skill/proofworks-verifier/ — das Produkt

  • SKILL.md — die Betriebsanleitung, der ein Agent folgt

  • references/loop.md — das Verify-and-Backfill-Schleifenprotokoll + JSON-Schema

  • scripts/fetch_source.py — deterministischer Abruf + URL in Text umwandeln

  • scripts/presence_match.py — Literal-Zitat/Zahlen-Präsenzprüfung

  • tests/test_helpers.py — Regressionstests für die Helfer

• src/ — der Cloudflare Worker, der die Landingpage und die statischen Dateien bereitstellt, die ein Agent benötigt, um die Fähigkeit zu finden und zu übernehmen:

  • / — die Marketing-Landingpage

  • /agent-setup/prompt.md — der einzeilige Skill-Installationsprompt (die Produktoberfläche)

  • /llms.txt, /robots.txt, /sitemap.xml, /.well-known/*, IndexNow-Schlüssel

Wie die Verifizierung funktioniert

claim + cited source
  │ 1. fetch (deterministic)          — fetch_source.py
  v
 source text
  │ 2. presence pass (deterministic)  — presence_match.py
  v
 present? ──yes──► verified   (record the matching passage)
  │ no
  v
 3. semantic pass (LLM, source-only): does the source support the claim as written?
  │
 supported? ──yes──► verified
  │ no
  v
 4. backfill: find one extra source for the claim as written
  │
  pass ──► verified (add the extra source) · fail ──► unsupported / exhausted

Pro Behauptung meldet die Fähigkeit: verified (mit dem passenden Passus) oder unsupported / exhausted. Wenn die Tatsache einer Behauptung falsch ist, aber keine Quelle sie stützt („Der Eiffelturm ist in Miami“), bleibt die Behauptung unsupported und die Fähigkeit kennzeichnet einen vorgeschlagenen Korrekturvorschlag — der Benutzer entscheidet. Korrekturen werden nie stillschweigend angewendet.

Entwicklung

Der Worker ist TypeScript auf Cloudflare Workers.

npm install
npm run typecheck   # tsc --noEmit
npx wrangler dev --local --port 8787   # local dev
npx wrangler deploy                    # production (sentrylab.app)

Warnung für Änderungen an src/ui.ts und src/agent.ts: die Landingpage und der Skill-Inhalt sind TypeScript-Template-Literale. Ein einzelnes \n oder ein nicht maskierter Backtick darin wird zu einem echten Zeilenumbruch / beendet das Literal in der ausgelieferten Ausgabe — was die Seite stillschweigend bricht. Verwenden Sie \\n und \` und überprüfen Sie die ausgelieferten Bytes (python3-Hexdump) sowie node --check auf dem extrahierten Inline- Skript, nachdem Sie sie geändert haben.

Lizenz

MIT