Skip to main content
Glama
deenesjakoruzh
adigoel07

Tool of Truth

by adigoel07
OverviewSchemaSourceRelated ServersDiscussionsAdmin
TypeScript
Local

Tool of Truth

모든 도구 호출, 입증됨.

AI 에이전트 도구 사용을 위한 검증 센티널. 모든 MCP 도구 호출을 가로채는 MITM 프록시로, 위조를 탐지하고 비용을 추적하며 결과를 검증하고 사용자 만족도를 유추합니다.

기능

기능

상태

설명

MITM Proxy

✅

모든 MCP 도구 호출을 투명하게 가로챕니다

Fabrication Detection

✅

7-신호 심층 분석: 추적, 문서 유사성, 타이밍, 플레이스홀더, 모순

Trust Scoring

✅

가중치 0-100, 위조 상한 적용

Cost Tracking

✅

8개 제공업체별 호출당 비용

Token Counting

✅

호출당 입력/출력 토큰

Outcome Verification

✅

도구 결과를 사용자의 원래 프롬프트와 비교

Skill Adherence

✅

매니페스트를 통해 워크플로우 검증

User Satisfaction

✅

후속 메시지에서 만족도 유추

Receipts

✅

SHA-256 해시, JSON + 사람이 읽을 수 있는 형식

Local Storage

✅

JSONL 일별 파일 + 색인 조회

Tool Transparency

✅

다운스트림 도구가 실제로 수행하는 작업 표시

Related MCP server: openclaw-output-vetter-mcp

빠른 시작

1. 설치

npm install -g tooloftruth-mcp

2. 연결 (옵션 A: 직접)

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}

3. 연결 (옵션 B: 프록시 — MITM 모드)

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}
// ~/.tooloftruth/proxy.json
{
  "servers": {
    "firecrawl": { "command": "npx", "args": ["firecrawl-mcp"] },
    "github": { "command": "npx", "args": ["@modelcontextprotocol/server-github"] }
  }
}

4. 사용

You: Did you actually use firecrawl?
Agent: [calls tooloftruth_verify]
Agent: VERIFIED — firecrawl was called at 10:30:02, trust score 98/100, cost $0.03

You: How much did I spend on tools today?
Agent: [calls tooloftruth_cost]
Agent: Total: $0.47 across 12 tool calls

You: Was that result what I asked for?
Agent: [calls tooloftruth_outcome]
Agent: ALIGNED — tool result matches your request

You: That's wrong, try again
Agent: [calls tooloftruth_satisfaction]
Agent: User appears dissatisfied — result may be wrong

CLI

# Intercept and monitor non-MCP commands
tooloftruth -- gh api repos/user/repo

# One-shot status report (daemon health, receipts, cost, top tools)
tooloftruth status

데몬

launchd 데몬이 .tooloftruth/receipts/를 감시하고, 일별 통계를 집계하며, 위조 발생 시 알림을 보냅니다.

# Install the daemon (macOS)
launchctl load ~/Library/LaunchAgents/com.tooloftruth.daemon.plist

통계는 .tooloftruth/stats/YYYY-MM-DD.json에 기록됩니다.

Truth Scan

tooloftruth_truth_scan은 주장에 대한 실제 웹 검증을 수행합니다: Bing 검색(curl) → crawl4ai 가져오기 → 증거 추출 → 판정.

MCP 도구

도구

설명

tooloftruth_verify

특정 도구가 사용되었는지 검증

tooloftruth_check

사전 점검: 도구가 설치/구성되었는지 확인

tooloftruth_receipt

검증 영수증 생성/조회

tooloftruth_cost

도구별 비용 내역

tooloftruth_history

과거 영수증 검색

tooloftruth_truth

전체 세션 진실 보고서

tooloftruth_satisfaction

메시지에서 사용자 만족도 유추

tooloftruth_outcome

결과가 사용자 프롬프트와 일치하는지 검증

tooloftruth_audit

에이전트 주장을 실제 도구 호출과 대조

tooloftruth_conversation

대화 로그 보기

tooloftruth_truth_scan

웹 조사 + 주장 사실 확인

MITM 프록시 작동 방식

Agent ←→ Tool of Truth ←→ MCP Server (downstream)
              ↓
         Records everything
         Runs deep fabrication checks
         Verifies outcome alignment
         Infers satisfaction
         Generates receipts
         Returns result unchanged

저장

모든 데이터는 사용자 컴퓨터의 홈 디렉터리에 유지됩니다:

~/.tooloftruth/
├── config.json          ← settings
├── index.json           ← fast lookup index
├── proxy.json           ← downstream server config
├── receipts/
│   ├── 2026-08-17.jsonl ← today's calls
│   └── ...
├── conversations/
│   └── 2026-08-17.jsonl ← claim/action conversations
└── stats/               ← daemon aggregations
    ├── 2026-08-17.json
    └── ...

## Skill Manifests

Skills can attach verification manifests:

```json
{
  "skill": "last-30-days",
  "version": "2.1.0",
  "requires": {
    "github_mcp": {
      "tool": "get_repo_stats",
      "mustBeCalled": true
    }
  }
}

개발

git clone https://github.com/adigoel07/tooloftruth.git
cd tooloftruth
pnpm install
pnpm build
npx vitest run

라이선스

MIT — 사용하고, 포크하고, 그 위에 빌드하세요.

저자

adigoel07이(가) 만들었습니다.

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • SentinelGate by Sentinel-Gate

    SentinelGateofficial

    Sentinel-Gate
    A
    license
    Not graded
    quality
    A
    maintenance
    Open-source MCP proxy that enforces security policies, content scanning, and audit logging between AI agents and tool servers
    25
    AGPL 3.0

  • openclaw-output-vetter-mcp

    temurkhan13
    A
    license
    A
    quality
    B
    maintenance
    MCP server for verifying AI agent claims vs reality — single-transcript inline grounding-check that flags when an agent's response states facts not in the input context, when its code silently swallows exceptions and substitutes mock data, or when its multi-turn transcript contains contradictions or unverified completion claims. Sub-second, local, free, no API calls.
    4
    42 PyPI
    1
    MIT

  • MCP Trust Gateway

    a2a-settlement
    A
    license
    Not graded
    quality
    D
    maintenance
    Enables trust, reputation, and economic accountability for MCP by proxying between clients and servers, enriching every tool invocation with trust evaluation, KYA tiers, spending limits, and delegation chains.
    MIT