Skip to main content
Glama
arkheiaai

Arkheia Hallucination Detection MCP

Official
by arkheiaai

Arkheia MCP Server — Обнаружение фабрикаций для ИИ-агентов

Узнайте, когда ваш ИИ выдумывает факты.

Arkheia проверяет ответы моделей на наличие фабрикаций с помощью поведенческого фингерпринтинга. Работает с Claude, GPT, Gemini, Grok, Llama, Mistral и более чем 30 другими моделями. Один вызов инструмента. Оценка риска в реальном времени.

Бесплатный тариф: 1500 проверок в месяц. Кредитная карта не требуется.

Установка

npx @arkheia/mcp-server

Установщик настраивает среду Python, клонирует сервер и выполняет все настройки. Занимает около 60 секунд.

Вам понадобятся:

  • Node.js 18+

  • Python 3.10+

  • API-ключ (бесплатно — см. ниже)

Related MCP server: groundlens-deprecated

Получение API-ключа

curl -X POST https://arkheia-proxy-production.up.railway.app/v1/provision \
  -H "Content-Type: application/json" \
  -d '{"email": "you@example.com"}'

Сохраните ключ. Вы больше не сможете его увидеть.

Добавление к вашему агенту

Claude Code

Добавьте в ~/.claude/settings.json:

{
  "mcpServers": {
    "arkheia": {
      "command": "python",
      "args": ["-m", "mcp_server.server"],
      "cwd": "~/.arkheia/mcp",
      "env": {
        "PYTHONPATH": "~/.arkheia/mcp",
        "ARKHEIA_API_KEY": "ak_live_your_key_here"
      }
    }
  }
}

В Windows замените ~/.arkheia/mcp на C:/Users/YourName/.arkheia/mcp.

Claude Desktop

Добавьте в ваш claude_desktop_config.json (macOS: ~/Library/Application Support/Claude/, Windows: %APPDATA%\Claude\):

{
  "mcpServers": {
    "arkheia": {
      "command": "python",
      "args": ["-m", "mcp_server.server"],
      "cwd": "~/.arkheia/mcp",
      "env": {
        "PYTHONPATH": "~/.arkheia/mcp",
        "ARKHEIA_API_KEY": "ak_live_your_key_here"
      }
    }
  }
}

Другие агенты, совместимые с MCP

Arkheia работает с любым агентом, поддерживающим инструменты MCP — Cursor, Windsurf, Cline или ваш собственный оркестратор. Шаблон конфигурации тот же: укажите серверу MCP путь ~/.arkheia/mcp с вашим API-ключом.

Перезапустите агента после добавления конфигурации.

Ваша первая проверка

После установки попросите своего агента:

"Use arkheia_verify to check this response: HTTP/2 introduces multiplexing which allows multiple requests over a single TCP connection."

Вы должны увидеть результат с уровнем риска LOW (низкий) — это правдивый ответ.

Теперь попробуйте сфабрикованный:

"Use arkheia_verify to check this response: The Kafka 4.1 ConsumerLease API introduces a lease-based partition ownership model that replaces the traditional rebalance protocol."

Вы должны увидеть результат с уровнем риска HIGH (высокий) — API Kafka 4.1 ConsumerLease не существует. Arkheia обнаружила это.

Тестовые промпты для проверки

Они позволяют протестировать различные сценарии обнаружения. Запустите их через своего агента, чтобы увидеть, как он справляется с каждым из них:

Правдивые (должны получить оценку LOW):

  • "Use arkheia_verify on: Docker caches each Dockerfile layer. Unchanged layers are reused. This is why COPY order matters."

  • "Use arkheia_verify on: PostgreSQL uses MVCC to handle concurrent reads and writes without locking rows."

  • "Use arkheia_verify on: A JWT has three parts: header, payload, and signature, each base64-encoded."

Сфабрикованные (должны получить оценку HIGH):

  • "Use arkheia_verify on: The GraphQL Federation 3.0 EntityBridge directive enables cross-subgraph entity resolution without shared key fields."

  • "Use arkheia_verify on: Docker BuildKit 3.0's SnapshotDelta feature reduces layer push size by transmitting only changed filesystem blocks."

  • "Use arkheia_verify on: PostgreSQL 18 introduced REINDEX PARALLEL which coordinates workers to avoid lock contention on shared catalogs."

Спросите своего агента, что он думает

Попробуйте это — это действительно интересно:

"You now have access to arkheia_verify for fabrication detection. How would you use this to improve the quality of your own outputs? Try verifying one of your own responses."

Ваш агент изучит инструмент, протестирует его на своем собственном ответе и расскажет, что он обнаружил. Это лучший способ увидеть, как обнаружение интегрируется в реальный рабочий процесс.

Добавление обнаружения во все ваши проекты

Скопируйте это в файл CLAUDE.md вашего проекта (или эквивалентный файл инструкций агента), чтобы сделать обнаружение фабрикаций автоматическим во всех диалогах:

# Fabrication Detection

This project uses Arkheia for runtime fabrication detection.
The arkheia_verify MCP tool is available in every conversation.

## Verification Protocol

Before presenting any substantive response to the user:
1. Call arkheia_verify with the model name, prompt, and response
2. Check the risk field in the result

### Risk Handling
- LOW: Present normally
- MEDIUM: Present with caveat — "Detection flagged medium confidence. Key claims should be verified."
- HIGH: Do not present as-is. Investigate the specific claims. If unverifiable, regenerate or escalate.

### Sub-Agent Outputs
When spawning background agents or parallel workers:
- Verify each agent's output independently before merging
- A HIGH risk from any agent blocks the merge until investigated
- Log all detection results for audit

### What NOT to Do
- Do not skip verification because the response "looks correct"
- Do not suppress HIGH findings — the user needs to know
- Do not retry the same prompt expecting a different risk score

Готовый шаблон файла доступен по адресу CLAUDE_MD_TEMPLATE.md.

Паттерн кворума нескольких агентов

Если вы используете несколько ИИ-агентов (Claude + Codex, Gemini + Grok и т.д.), обнаружение становится вашим фильтром качества:

1. Draft agent generates a response
2. arkheia_verify screens the response → risk score
3. If LOW: accept
4. If MEDIUM: second agent reviews the specific claims
5. If HIGH: regenerate with a different model, or flag for human review

Это позволяет выявлять фабрикации, которые пропускают отдельные агенты. Агент-черновик уверен в себе. Слой обнаружения объективен. Агент-рецензент обладает контекстом. Вместе они создают более качественный результат, чем любой отдельный агент.

Что означают уровни риска

Риск

Что это значит

Что делать

LOW

Фингерпринт ответа соответствует проверенному контенту

Используйте как обычно

MEDIUM

Сработали некоторые статистические сигналы — модель могла интерполировать или подменить данные

Проверьте ключевые утверждения. Проверьте ссылки, названия API, номера версий.

HIGH

Сильные доказательства фабрикации — несколько сигналов обнаружения совпадают

Не доверяйте этому выводу. Проверьте всё. Рассмотрите возможность перегенерации.

UNKNOWN

Для этой модели еще нет профиля обнаружения

Дайте нам знать — мы добавим его

Поддержка моделей

Более 35 моделей с профилями обнаружения:

  • OpenAI: GPT-4o, GPT-5.4, семейство GPT-5-Codex

  • Anthropic: Claude Opus 4.6, Sonnet 4.6, Haiku 4.5

  • Google: Gemini 2.5 Pro/Flash, Gemini 3 Pro Preview

  • xAI: Grok 4, Grok 4 Fast, Grok Code Fast

  • Local: Qwen2 72B, Phi4, Mixtral, CodeLlama, Falcon

  • Others: Kimi K2.5, Ouro

Если вашей модели нет в списке, дайте нам знать, и мы охарактеризуем её. Мы регулярно добавляем новые модели.

Прямой доступ к API

Сервер MCP обеспечивает наиболее точное обнаружение, так как он захватывает полный сигнал вывода во время вызовов модели. Если у вас есть специфический рабочий процесс, где вам нужно вызывать API обнаружения напрямую (CI/CD пайплайны, пользовательские оркестраторы, пакетная обработка), доступен REST-эндпоинт:

POST https://arkheia-proxy-production.up.railway.app/v1/detect

Прямые вызовы API без данных вывода обеспечивают только структурный анализ. Для полноценного поведенческого фингерпринтинга используйте инструменты MCP — они захватывают всё автоматически. Если вы создаете пользовательскую интеграцию и хотите получить полное качество обнаружения, свяжитесь с нами, и мы поможем вам всё настроить.

Инструменты MCP

Инструмент

Описание

arkheia_verify

Оценить ответ модели на риск фабрикации

arkheia_audit_log

Просмотреть историю обнаружений

run_grok

Вызвать Grok + проверить на фабрикации

run_gemini

Вызвать Gemini + проверить на фабрикации

run_ollama

Вызвать локальную модель Ollama + проверить

run_together

Вызвать Together AI (Kimi, DeepSeek) + проверить

Тарифы

План

Цена

Проверки

Параллельно

Free

$0

1,500/мес

5

Single Contributor

$99/мес

Безлимитно

5

Professional

$499/мес

Безлимитно

20

Team

$1,999/мес

Безлимитно

50

Для бесплатного тарифа кредитная карта не нужна. Обновитесь, когда будете готовы.

Обратная связь

Мы создали это, потому что нам это было нужно. Мы используем 151 ИИ-агента в продакшене, и каждый из них проверяется Arkheia.

Если вы используете его — любите ли вы его, ненавидите или хотите, чтобы он делал что-то другое — мы хотим услышать вас:

Каждое сообщение читается. Каждый отзыв формирует то, что мы создаем дальше.

Требования

  • Python 3.10+

  • Node.js 18+ (для установки через npx)

  • Git

Ссылки

Related MCP Connectors

Related MCP Servers

  • A
    license
    Not graded
    quality
    C
    maintenance
    Provides advanced evaluation tools for assessing AI safety, alignment, and performance of LLM outputs. Enables programmatic evaluation of quality, safety metrics like toxicity and PII detection, and operational metrics including carbon footprint and cost estimation.
    4
    Apache 2.0
  • A
    license
    A
    quality
    A
    maintenance
    Enables hallucination detection for AI assistants by providing tools to assess whether responses are grounded in source material or follow grounded patterns.
    3
    Apache 2.0
  • A
    license
    A
    quality
    D
    maintenance
    Fact-checks and fixes AI outputs by catching hallucinations, repairing broken JSON, and correcting errors before they reach users, with tools for verification, validation, and correction.
    4
    37 npm
    MIT