Skip to main content
Glama
deenesjakoruzh
adigoel07

Tool of Truth

by adigoel07
OverviewSchemaSourceRelated ServersDiscussionsAdmin
TypeScript
Local

Tool of Truth

Каждый вызов инструмента — доказан.

Сторожевой механизм проверки использования инструментов AI-агентами. MITM-прокси, который перехватывает все вызовы инструментов MCP, обнаруживает фабрикации, отслеживает затраты, проверяет результаты и определяет удовлетворённость пользователя.

Возможности

Функция

Статус

Описание

MITM Proxy

✅

Прозрачно перехватывает все вызовы инструментов MCP

Обнаружение фабрикаций

✅

Глубокий анализ по 7 сигналам: трассировка, сходство документов, тайминги, заполнители, противоречия

Оценка доверия

✅

Взвешенная оценка от 0 до 100 с ограничением на фабрикации

Отслеживание затрат

✅

Стоимость за вызов для 8 провайдеров

Подсчёт токенов

✅

Входные/выходные токены на вызов

Проверка результатов

✅

Сравнивает результат инструмента с исходным запросом пользователя

Соблюдение навыков

✅

Проверяет рабочий процесс через манифесты

Удовлетворённость пользователя

✅

Определяет удовлетворённость по последующим сообщениям

Квитанции

✅

Хешированы SHA-256, JSON + человекочитаемый формат

Локальное хранилище

✅

Ежедневные файлы JSONL + индексированный поиск

Прозрачность инструментов

✅

Показывает, что на самом деле делают нижестоящие инструменты

Related MCP server: openclaw-output-vetter-mcp

Быстрый старт

1. Установка

npm install -g tooloftruth-mcp

2. Подключение (Вариант A: Напрямую)

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}

3. Подключение (Вариант B: Прокси — режим MITM)

// Your agent's MCP config
{
  "tooloftruth": {
    "command": "tooloftruth-mcp"
  }
}
// ~/.tooloftruth/proxy.json
{
  "servers": {
    "firecrawl": { "command": "npx", "args": ["firecrawl-mcp"] },
    "github": { "command": "npx", "args": ["@modelcontextprotocol/server-github"] }
  }
}

4. Использование

You: Did you actually use firecrawl?
Agent: [calls tooloftruth_verify]
Agent: VERIFIED — firecrawl was called at 10:30:02, trust score 98/100, cost $0.03

You: How much did I spend on tools today?
Agent: [calls tooloftruth_cost]
Agent: Total: $0.47 across 12 tool calls

You: Was that result what I asked for?
Agent: [calls tooloftruth_outcome]
Agent: ALIGNED — tool result matches your request

You: That's wrong, try again
Agent: [calls tooloftruth_satisfaction]
Agent: User appears dissatisfied — result may be wrong

CLI

# Intercept and monitor non-MCP commands
tooloftruth -- gh api repos/user/repo

# One-shot status report (daemon health, receipts, cost, top tools)
tooloftruth status

Демон

Демон launchd следит за .tooloftruth/receipts/, собирает ежедневную статистику и предупреждает о фабрикациях.

# Install the daemon (macOS)
launchctl load ~/Library/LaunchAgents/com.tooloftruth.daemon.plist

Статистика записывается в .tooloftruth/stats/YYYY-MM-DD.json.

Проверка достоверности

tooloftruth_truth_scan выполняет реальную веб-проверку утверждений: поиск Bing (curl) → извлечение crawl4ai → выделение доказательств → вердикт.

Инструменты MCP

Инструмент

Описание

tooloftruth_verify

Проверить, что конкретный инструмент был использован

tooloftruth_check

Предварительная проверка: установлен ли инструмент/настроен ли он?

tooloftruth_receipt

Создать/просмотреть квитанцию проверки

tooloftruth_cost

Разбивка затрат по инструментам

tooloftruth_history

Поиск по историческим квитанциям

tooloftruth_truth

Полный отчёт о достоверности сессии

tooloftruth_satisfaction

Определить удовлетворённость пользователя по сообщению

tooloftruth_outcome

Проверить, что результат соответствует запросу пользователя

tooloftruth_audit

Сопоставить заявления агента с фактическими вызовами инструментов

tooloftruth_conversation

Просмотреть журнал разговора

tooloftruth_truth_scan

Веб-исследование + проверка фактов утверждения

Как работает MITM-прокси

Agent ←→ Tool of Truth ←→ MCP Server (downstream)
              ↓
         Records everything
         Runs deep fabrication checks
         Verifies outcome alignment
         Infers satisfaction
         Generates receipts
         Returns result unchanged

Хранилище

Все данные остаются в домашнем каталоге вашего компьютера:

~/.tooloftruth/
├── config.json          ← settings
├── index.json           ← fast lookup index
├── proxy.json           ← downstream server config
├── receipts/
│   ├── 2026-08-17.jsonl ← today's calls
│   └── ...
├── conversations/
│   └── 2026-08-17.jsonl ← claim/action conversations
└── stats/               ← daemon aggregations
    ├── 2026-08-17.json
    └── ...

## Skill Manifests

Skills can attach verification manifests:

```json
{
  "skill": "last-30-days",
  "version": "2.1.0",
  "requires": {
    "github_mcp": {
      "tool": "get_repo_stats",
      "mustBeCalled": true
    }
  }
}

Разработка

git clone https://github.com/adigoel07/tooloftruth.git
cd tooloftruth
pnpm install
pnpm build
npx vitest run

Лицензия

MIT — используйте, форкайте, стройте на его основе.

Автор

Создано adigoel07.

This server cannot be deployed

One endpoint for every MCP toolRayrun runs every MCP server behind one URL and holds the credentials. Each call is decided per client, tool, and argument, then recorded.ray.runAd

Maintenance

ActivitySlowing
ResponsivenessNo issues

Resources

Related MCP Connectors

Related MCP Servers

  • SentinelGate by Sentinel-Gate

    SentinelGateofficial

    Sentinel-Gate
    A
    license
    Not graded
    quality
    A
    maintenance
    Open-source MCP proxy that enforces security policies, content scanning, and audit logging between AI agents and tool servers
    25
    AGPL 3.0

  • openclaw-output-vetter-mcp

    temurkhan13
    A
    license
    A
    quality
    B
    maintenance
    MCP server for verifying AI agent claims vs reality — single-transcript inline grounding-check that flags when an agent's response states facts not in the input context, when its code silently swallows exceptions and substitutes mock data, or when its multi-turn transcript contains contradictions or unverified completion claims. Sub-second, local, free, no API calls.
    4
    42 PyPI
    1
    MIT

  • MCP Trust Gateway

    a2a-settlement
    A
    license
    Not graded
    quality
    D
    maintenance
    Enables trust, reputation, and economic accountability for MCP by proxying between clients and servers, enriching every tool invocation with trust evaluation, KYA tiers, spending limits, and delegation chains.
    MIT