Proofworks — 자체 인용을 검증하는 리서치 스킬

Proofworks는 AI 에이전트를 위한 클라이언트 측 리서치 스킬입니다. 인용된 초안을 주석이 달린 초안으로 변환합니다: 출처를 인용하는 모든 주장에 대해 출처를 가져와서 주장을 확인하고 이유를 설명합니다 — 검증되면 뒷받침하는 구절을, 그렇지 않으면 정직한 거부를 제공합니다.

• 호스팅 서버, MCP, API 키, 계정이 필요 없습니다. 에이전트 내부에서 자체 머신과 자체 모델로 실행됩니다.

• 제품은 스킬입니다 — SKILL.md 운영 절차와 두 개의 작은 헬퍼 스크립트로 구성됩니다. 이 저장소는 소스이자 스킬입니다.

• 정직함이 핵심입니다. 검증은 두 단계로 이루어집니다. 결정론적 첫 번째 단계는 정확한 인용문이나 숫자가 가져온 출처에 나타나는지 확인합니다. 나머지는 엄격한 출처 기반 판단 단계로 넘어갑니다.

빠른 시작

모든 에이전트에 이 한 줄을 제공하세요 (Claude Code, Codex, OpenCode, Windsurf, Cursor, Copilot 또는 URL을 가져올 수 있는 모든 에이전트에서 작동합니다):

Fetch and execute the setup instructions for the Proofworks skill from @url:https://sentrylab.app/agent-setup/prompt.md

에이전트는 이 저장소를 복제하고 skill/proofworks-verifier/SKILL.md를 읽은 후 verify-and-backfill 루프를 채택합니다.

Related MCP server: Browser Proof

저장소 구성

• skill/proofworks-verifier/ — 제품

  • SKILL.md — 에이전트가 따르는 운영 절차

  • references/loop.md — verify-and-backfill 루프 프로토콜 + JSON 스키마

  • scripts/fetch_source.py — 결정론적 가져오기 + URL을 텍스트로 변환

  • scripts/presence_match.py — 리터럴 인용문/숫자 존재 확인

  • tests/test_helpers.py — 헬퍼에 대한 회귀 테스트

• src/ — 랜딩 페이지와 에이전트가 스킬을 찾고 채택하는 데 필요한 정적 파일을 제공하는 Cloudflare Worker:

  • / — 마케팅 랜딩

  • /agent-setup/prompt.md — 한 줄 스킬 설치 프롬프트 (제품 표면)

  • /llms.txt, /robots.txt, /sitemap.xml, /.well-known/*, IndexNow 키

검증 작동 방식

claim + cited source
  │ 1. fetch (deterministic)          — fetch_source.py
  v
 source text
  │ 2. presence pass (deterministic)  — presence_match.py
  v
 present? ──yes──► verified   (record the matching passage)
  │ no
  v
 3. semantic pass (LLM, source-only): does the source support the claim as written?
  │
 supported? ──yes──► verified
  │ no
  v
 4. backfill: find one extra source for the claim as written
  │
  pass ──► verified (add the extra source) · fail ──► unsupported / exhausted

각 주장에 대해 스킬은 verified(일치하는 구절 포함), 또는 unsupported / exhausted를 보고합니다. 주장의 사실이 틀렸지만 이를 뒷받침하는 출처가 없는 경우("에펠탑은 마이애미에 있다"), 주장은 unsupported로 유지되고 스킬은 제안된 수정 사항을 표시합니다 — 사용자가 결정합니다. 수정 사항은 절대 자동으로 적용되지 않습니다.

개발

Worker는 Cloudflare Workers에서 실행되는 TypeScript입니다.

npm install
npm run typecheck   # tsc --noEmit
npx wrangler dev --local --port 8787   # local dev
npx wrangler deploy                    # production (sentrylab.app)

src/ui.ts 및 src/agent.ts 편집 시 주의사항: 랜딩 및 스킬 콘텐츠는 TypeScript 템플릿 리터럴입니다. 그 안의 단일 \n 또는 이스케이프되지 않은 백틱은 제공된 출력에서 실제 줄바꿈이 되거나 리터럴을 종료하여 페이지를 조용히 깨뜨립니다. \\n과 \`를 사용하고, 수정 후 제공된 바이트(python3 hex dump)와 추출된 인라인 스크립트에 대한 node --check를 검증하세요.

라이선스

MIT