Skip to main content
Glama
deenesjakoruzh
adigoel07

Tool of Truth

by adigoel07
OverviewSchemaSourceRelated ServersDiscussionsAdmin
TypeScript
Local

Tool of Truth

Jeder Tool-Aufruf, belegt.

Verifikations-Sentinel für die Tool-Nutzung von KI-Agenten. MITM-Proxy, der alle MCP-Tool-Aufrufe abfängt, Fabrikationen erkennt, Kosten verfolgt, Ergebnisse verifiziert und die Benutzerzufriedenheit ableitet.

Funktionen

Funktion

Status

Beschreibung

MITM Proxy

✅

Fängt transparent alle MCP-Tool-Aufrufe ab

Fabrication Detection

✅

7-Signal-Tiefenanalyse: Trace, Dokumentähnlichkeit, Timing, Platzhalter, Widersprüche

Trust Scoring

✅

Gewichtete Bewertung von 0–100 mit Fabrikations-Obergrenze

Cost Tracking

✅

Kosten pro Aufruf für 8 Anbieter

Token Counting

✅

Eingabe-/Ausgabe-Tokens pro Aufruf

Outcome Verification

✅

Vergleicht das Tool-Ergebnis mit der ursprünglichen Eingabe des Benutzers

Skill Adherence

✅

Überprüft den Workflow anhand von Manifesten

User Satisfaction

✅

Leitet Zufriedenheit aus Folge-Nachrichten ab

Receipts

✅

SHA-256-gehasht, JSON + menschenlesbar

Local Storage

✅

Tägliche JSONL-Dateien + indexierte Suche

Tool Transparency

✅

Zeigt, was nachgelagerte Tools tatsächlich tun

Related MCP server: openclaw-output-vetter-mcp

Schnellstart

1. Installieren

npm install -g tooloftruth-mcp

2. Verbinden (Option A: Direkt)

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}

3. Verbinden (Option B: Proxy — MITM-Modus)

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}
// ~/.tooloftruth/proxy.json
{
  "servers": {
    "firecrawl": { "command": "npx", "args": ["firecrawl-mcp"] },
    "github": { "command": "npx", "args": ["@modelcontextprotocol/server-github"] }
  }
}

4. Verwenden

You: Did you actually use firecrawl?
Agent: [calls tooloftruth_verify]
Agent: VERIFIED — firecrawl was called at 10:30:02, trust score 98/100, cost $0.03

You: How much did I spend on tools today?
Agent: [calls tooloftruth_cost]
Agent: Total: $0.47 across 12 tool calls

You: Was that result what I asked for?
Agent: [calls tooloftruth_outcome]
Agent: ALIGNED — tool result matches your request

You: That's wrong, try again
Agent: [calls tooloftruth_satisfaction]
Agent: User appears dissatisfied — result may be wrong

CLI

# Intercept and monitor non-MCP commands
tooloftruth -- gh api repos/user/repo

# One-shot status report (daemon health, receipts, cost, top tools)
tooloftruth status

Daemon

Ein launchd-Daemon überwacht .tooloftruth/receipts/, aggregiert tägliche Statistiken und warnt bei Fabrikationen.

# Install the daemon (macOS)
launchctl load ~/Library/LaunchAgents/com.tooloftruth.daemon.plist

Die Statistiken werden in .tooloftruth/stats/YYYY-MM-DD.json geschrieben.

Wahrheits-Scan

tooloftruth_truth_scan führt eine echte Web-Verifikation von Behauptungen durch: Bing-Suche (curl) → crawl4ai-Abruf → Beweis-Extraktion → Urteil.

MCP-Tools

Tool

Beschreibung

tooloftruth_verify

Überprüft, ob ein bestimmtes Tool verwendet wurde

tooloftruth_check

Vorabprüfung: Ist das Tool installiert/konfiguriert?

tooloftruth_receipt

Verifikationsbeleg erstellen/anzeigen

tooloftruth_cost

Kostenaufschlüsselung nach Tool

tooloftruth_history

Historische Belege durchsuchen

tooloftruth_truth

Vollständiger Wahrheitsbericht der Sitzung

tooloftruth_satisfaction

Leitet Benutzerzufriedenheit aus Nachricht ab

tooloftruth_outcome

Überprüft, ob das Ergebnis der Benutzereingabe entspricht

tooloftruth_audit

Gleicht Agenten-Behauptungen mit tatsächlichen Tool-Aufrufen ab

tooloftruth_conversation

Konversationsprotokoll anzeigen

tooloftruth_truth_scan

Web-Recherche + Faktencheck einer Behauptung

Wie der MITM-Proxy funktioniert

Agent ←→ Tool of Truth ←→ MCP Server (downstream)
              ↓
         Records everything
         Runs deep fabrication checks
         Verifies outcome alignment
         Infers satisfaction
         Generates receipts
         Returns result unchanged

Speicher

Alle Daten bleiben im Home-Verzeichnis deines Rechners:

~/.tooloftruth/
├── config.json          ← settings
├── index.json           ← fast lookup index
├── proxy.json           ← downstream server config
├── receipts/
│   ├── 2026-08-17.jsonl ← today's calls
│   └── ...
├── conversations/
│   └── 2026-08-17.jsonl ← claim/action conversations
└── stats/               ← daemon aggregations
    ├── 2026-08-17.json
    └── ...

## Skill Manifests

Skills can attach verification manifests:

```json
{
  "skill": "last-30-days",
  "version": "2.1.0",
  "requires": {
    "github_mcp": {
      "tool": "get_repo_stats",
      "mustBeCalled": true
    }
  }
}

Entwicklung

git clone https://github.com/adigoel07/tooloftruth.git
cd tooloftruth
pnpm install
pnpm build
npx vitest run

Lizenz

MIT – nutze es, forke es, baue darauf auf.

Autor

Erstellt von adigoel07.

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • SentinelGate by Sentinel-Gate

    SentinelGateofficial

    Sentinel-Gate
    A
    license
    Not graded
    quality
    A
    maintenance
    Open-source MCP proxy that enforces security policies, content scanning, and audit logging between AI agents and tool servers
    25
    AGPL 3.0

  • openclaw-output-vetter-mcp

    temurkhan13
    A
    license
    A
    quality
    B
    maintenance
    MCP server for verifying AI agent claims vs reality — single-transcript inline grounding-check that flags when an agent's response states facts not in the input context, when its code silently swallows exceptions and substitutes mock data, or when its multi-turn transcript contains contradictions or unverified completion claims. Sub-second, local, free, no API calls.
    4
    42 PyPI
    1
    MIT

  • MCP Trust Gateway

    a2a-settlement
    A
    license
    Not graded
    quality
    D
    maintenance
    Enables trust, reputation, and economic accountability for MCP by proxying between clients and servers, enriching every tool invocation with trust evaluation, KYA tiers, spending limits, and delegation chains.
    MIT