Skip to main content
Glama
deenesjakoruzh
adigoel07

Tool of Truth

by adigoel07
OverviewSchemaSourceRelated ServersDiscussionsAdmin
TypeScript
Local

Tool of Truth

すべてのツール呼び出しを、証明。

AIエージェントのツール使用状況を監視する検証センチネルです。すべてのMCPツール呼び出しをインターセプトし、捏造を検出し、コストを追跡し、結果を検証し、ユーザー満足度を推測するMITMプロキシです。

機能

機能

状態

説明

MITMプロキシ

✅

すべてのMCPツール呼び出しを透過的にインターセプトします

捏造検出

✅

7シグナルによる深層分析: トレース、ドキュメント類似性、タイミング、プレースホルダー、矛盾

信頼スコアリング

✅

捏造キャップ付きの0-100の加重スコア

コスト追跡

✅

8プロバイダーの呼び出しごとのコスト

トークンカウント

✅

呼び出しごとの入力/出力トークン

結果検証

✅

ツールの結果をユーザーの元のプロンプトと比較します

スキル順守

✅

マニフェストを通じてワークフローを検証します

ユーザー満足度

✅

フォローアップメッセージから満足度を推測します

レシート

✅

SHA-256ハッシュ化、JSON + 人間可読形式

ローカルストレージ

✅

JSONL日次ファイル + インデックス付きルックアップ

ツールの透明性

✅

下流のツールが実際に何をするかを表示します

Related MCP server: openclaw-output-vetter-mcp

クイックスタート

1. インストール

npm install -g tooloftruth-mcp

2. 接続（オプションA: 直接）

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}

3. 接続（オプションB: プロキシ — MITMモード）

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}
// ~/.tooloftruth/proxy.json
{
  "servers": {
    "firecrawl": { "command": "npx", "args": ["firecrawl-mcp"] },
    "github": { "command": "npx", "args": ["@modelcontextprotocol/server-github"] }
  }
}

4. 使用

You: Did you actually use firecrawl?
Agent: [calls tooloftruth_verify]
Agent: VERIFIED — firecrawl was called at 10:30:02, trust score 98/100, cost $0.03

You: How much did I spend on tools today?
Agent: [calls tooloftruth_cost]
Agent: Total: $0.47 across 12 tool calls

You: Was that result what I asked for?
Agent: [calls tooloftruth_outcome]
Agent: ALIGNED — tool result matches your request

You: That's wrong, try again
Agent: [calls tooloftruth_satisfaction]
Agent: User appears dissatisfied — result may be wrong

CLI

# Intercept and monitor non-MCP commands
tooloftruth -- gh api repos/user/repo

# One-shot status report (daemon health, receipts, cost, top tools)
tooloftruth status

デーモン

launchdデーモンは .tooloftruth/receipts/ を監視し、日次統計を集計し、捏造があればアラートを出します。

# Install the daemon (macOS)
launchctl load ~/Library/LaunchAgents/com.tooloftruth.daemon.plist

統計は .tooloftruth/stats/YYYY-MM-DD.json に書き込まれます。

Truth Scan

tooloftruth_truth_scan は、主張の実際のWeb検証を行います: Bing検索（curl）→ crawl4ai fetch → エビデンス抽出 → 判定。

MCPツール

ツール

説明

tooloftruth_verify

特定のツールが使用されたことを検証します

tooloftruth_check

事前チェック: ツールがインストール/設定されているかどうか?

tooloftruth_receipt

検証レシートを生成/表示します

tooloftruth_cost

ツールごとのコスト内訳

tooloftruth_history

過去のレシートを検索

tooloftruth_truth

セッション全体の真実レポート

tooloftruth_satisfaction

メッセージからユーザー満足度を推測します

tooloftruth_outcome

結果がユーザープロンプトと一致するか検証します

tooloftruth_audit

エージェントの主張を実際のツール呼び出しと照合します

tooloftruth_conversation

会話ログを表示します

tooloftruth_truth_scan

Web調査 + 主張のファクトチェック

MITMプロキシの仕組み

Agent ←→ Tool of Truth ←→ MCP Server (downstream)
              ↓
         Records everything
         Runs deep fabrication checks
         Verifies outcome alignment
         Infers satisfaction
         Generates receipts
         Returns result unchanged

ストレージ

すべてのデータはマシンのホームディレクトリに保存されます:

~/.tooloftruth/
├── config.json          ← settings
├── index.json           ← fast lookup index
├── proxy.json           ← downstream server config
├── receipts/
│   ├── 2026-08-17.jsonl ← today's calls
│   └── ...
├── conversations/
│   └── 2026-08-17.jsonl ← claim/action conversations
└── stats/               ← daemon aggregations
    ├── 2026-08-17.json
    └── ...

## Skill Manifests

Skills can attach verification manifests:

```json
{
  "skill": "last-30-days",
  "version": "2.1.0",
  "requires": {
    "github_mcp": {
      "tool": "get_repo_stats",
      "mustBeCalled": true
    }
  }
}

開発

git clone https://github.com/adigoel07/tooloftruth.git
cd tooloftruth
pnpm install
pnpm build
npx vitest run

ライセンス

MIT — 使って、フォークして、さらに構築してください。

著者

作成者: adigoel07。

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • SentinelGate by Sentinel-Gate

    SentinelGateofficial

    Sentinel-Gate
    A
    license
    Not graded
    quality
    A
    maintenance
    Open-source MCP proxy that enforces security policies, content scanning, and audit logging between AI agents and tool servers
    25
    AGPL 3.0

  • openclaw-output-vetter-mcp

    temurkhan13
    A
    license
    A
    quality
    B
    maintenance
    MCP server for verifying AI agent claims vs reality — single-transcript inline grounding-check that flags when an agent's response states facts not in the input context, when its code silently swallows exceptions and substitutes mock data, or when its multi-turn transcript contains contradictions or unverified completion claims. Sub-second, local, free, no API calls.
    4
    42 PyPI
    1
    MIT

  • MCP Trust Gateway

    a2a-settlement
    A
    license
    Not graded
    quality
    D
    maintenance
    Enables trust, reputation, and economic accountability for MCP by proxying between clients and servers, enriching every tool invocation with trust evaluation, KYA tiers, spending limits, and delegation chains.
    MIT