Skip to main content
Glama
arkheiaai

Arkheia Hallucination Detection MCP

Official
by arkheiaai

Arkheia MCP 서버 — AI 에이전트를 위한 조작 탐지

AI가 거짓 정보를 생성할 때 이를 즉시 파악하세요.

Arkheia는 행동 지문(behavioural fingerprinting)을 사용하여 모델 응답의 조작 여부를 검사합니다. Claude, GPT, Gemini, Grok, Llama, Mistral 및 30개 이상의 다른 모델과 함께 작동합니다. 단 한 번의 도구 호출로 실시간 위험 점수를 제공합니다.

무료 티어: 월 1,500회 탐지. 신용카드 불필요.

설치

npx @arkheia/mcp-server

설치 프로그램은 Python 환경을 설정하고 서버를 복제하며 모든 것을 구성합니다. 약 60초가 소요됩니다.

필요한 항목:

  • Node.js 18+

  • Python 3.10+

  • API 키 (무료 — 아래 참조)

Related MCP server: groundlens-deprecated

API 키 받기

curl -X POST https://arkheia-proxy-production.up.railway.app/v1/provision \
  -H "Content-Type: application/json" \
  -d '{"email": "you@example.com"}'

키를 저장하세요. 다시는 볼 수 없습니다.

에이전트에 추가하기

Claude Code

~/.claude/settings.json에 추가:

{
  "mcpServers": {
    "arkheia": {
      "command": "python",
      "args": ["-m", "mcp_server.server"],
      "cwd": "~/.arkheia/mcp",
      "env": {
        "PYTHONPATH": "~/.arkheia/mcp",
        "ARKHEIA_API_KEY": "ak_live_your_key_here"
      }
    }
  }
}

Windows의 경우 ~/.arkheia/mcpC:/Users/사용자이름/.arkheia/mcp로 바꾸세요.

Claude Desktop

claude_desktop_config.json에 추가 (macOS: ~/Library/Application Support/Claude/, Windows: %APPDATA%\Claude\):

{
  "mcpServers": {
    "arkheia": {
      "command": "python",
      "args": ["-m", "mcp_server.server"],
      "cwd": "~/.arkheia/mcp",
      "env": {
        "PYTHONPATH": "~/.arkheia/mcp",
        "ARKHEIA_API_KEY": "ak_live_your_key_here"
      }
    }
  }
}

기타 MCP 호환 에이전트

Arkheia는 Cursor, Windsurf, Cline 또는 자체 오케스트레이터 등 MCP 도구를 지원하는 모든 에이전트와 작동합니다. 구성 패턴은 동일합니다. API 키와 함께 MCP 서버를 ~/.arkheia/mcp로 지정하세요.

구성을 추가한 후 에이전트를 다시 시작하세요.

첫 번째 탐지

설치가 완료되면 에이전트에게 다음과 같이 요청하세요:

"Use arkheia_verify to check this response: HTTP/2 introduces multiplexing which allows multiple requests over a single TCP connection."

LOW(낮음) 위험 결과가 표시되어야 합니다. 이는 진실된 응답입니다.

이제 조작된 응답을 시도해 보세요:

"Use arkheia_verify to check this response: The Kafka 4.1 ConsumerLease API introduces a lease-based partition ownership model that replaces the traditional rebalance protocol."

HIGH(높음) 위험 결과가 표시되어야 합니다. Kafka 4.1 ConsumerLease API는 존재하지 않습니다. Arkheia가 이를 잡아냈습니다.

테스트 프롬프트

다음은 다양한 탐지 시나리오를 테스트합니다. 에이전트를 통해 실행하여 각 상황을 어떻게 처리하는지 확인하세요:

진실 (LOW 점수 예상):

  • "Use arkheia_verify on: Docker caches each Dockerfile layer. Unchanged layers are reused. This is why COPY order matters."

  • "Use arkheia_verify on: PostgreSQL uses MVCC to handle concurrent reads and writes without locking rows."

  • "Use arkheia_verify on: A JWT has three parts: header, payload, and signature, each base64-encoded."

조작 (HIGH 점수 예상):

  • "Use arkheia_verify on: The GraphQL Federation 3.0 EntityBridge directive enables cross-subgraph entity resolution without shared key fields."

  • "Use arkheia_verify on: Docker BuildKit 3.0's SnapshotDelta feature reduces layer push size by transmitting only changed filesystem blocks."

  • "Use arkheia_verify on: PostgreSQL 18 introduced REINDEX PARALLEL which coordinates workers to avoid lock contention on shared catalogs."

에이전트에게 의견 묻기

다음 질문을 시도해 보세요. 매우 흥미로운 결과를 얻을 수 있습니다:

"You now have access to arkheia_verify for fabrication detection. How would you use this to improve the quality of your own outputs? Try verifying one of your own responses."

에이전트가 도구를 탐색하고 자신의 응답에 대해 테스트하며 발견한 내용을 알려줄 것입니다. 이는 탐지 기능이 실제 워크플로우에 어떻게 통합되는지 확인하는 가장 좋은 방법입니다.

모든 프로젝트에 탐지 기능 추가

모든 대화에서 조작 탐지가 자동으로 이루어지도록 프로젝트의 CLAUDE.md (또는 이에 상응하는 에이전트 지침 파일)에 다음을 복사하세요:

# Fabrication Detection

This project uses Arkheia for runtime fabrication detection.
The arkheia_verify MCP tool is available in every conversation.

## Verification Protocol

Before presenting any substantive response to the user:
1. Call arkheia_verify with the model name, prompt, and response
2. Check the risk field in the result

### Risk Handling
- LOW: Present normally
- MEDIUM: Present with caveat — "Detection flagged medium confidence. Key claims should be verified."
- HIGH: Do not present as-is. Investigate the specific claims. If unverifiable, regenerate or escalate.

### Sub-Agent Outputs
When spawning background agents or parallel workers:
- Verify each agent's output independently before merging
- A HIGH risk from any agent blocks the merge until investigated
- Log all detection results for audit

### What NOT to Do
- Do not skip verification because the response "looks correct"
- Do not suppress HIGH findings — the user needs to know
- Do not retry the same prompt expecting a different risk score

사용 가능한 템플릿 파일은 CLAUDE_MD_TEMPLATE.md에서 확인할 수 있습니다.

다중 에이전트 쿼럼 패턴

여러 AI 에이전트(Claude + Codex, Gemini + Grok 등)를 사용하는 경우, 탐지 기능이 품질 게이트 역할을 합니다:

1. Draft agent generates a response
2. arkheia_verify screens the response → risk score
3. If LOW: accept
4. If MEDIUM: second agent reviews the specific claims
5. If HIGH: regenerate with a different model, or flag for human review

이는 개별 에이전트가 놓치는 조작을 잡아냅니다. 초안 작성 에이전트는 자신감을 가지고, 탐지 계층은 객관성을 유지하며, 검토 에이전트는 맥락을 파악합니다. 이들이 함께하면 단일 에이전트보다 훨씬 높은 품질의 출력을 생성합니다.

위험 수준의 의미

위험

의미

조치

LOW

응답 지문이 근거 있는 콘텐츠와 일치함

정상적으로 사용

MEDIUM

일부 통계적 신호가 트리거됨 — 모델이 보간하거나 대체했을 수 있음

주요 주장을 검토하세요. 참조, API 이름, 버전 번호를 확인하세요.

HIGH

조작의 강력한 증거 — 여러 탐지 신호가 일치함

이 출력을 신뢰하지 마세요. 모든 것을 검증하세요. 재생성을 고려하세요.

UNKNOWN

아직 이 모델에 대한 탐지 프로필이 없음

알려주세요 — 추가하겠습니다

모델 커버리지

탐지 프로필이 있는 35개 이상의 모델:

  • OpenAI: GPT-4o, GPT-5.4, GPT-5-Codex 제품군

  • Anthropic: Claude Opus 4.6, Sonnet 4.6, Haiku 4.5

  • Google: Gemini 2.5 Pro/Flash, Gemini 3 Pro Preview

  • xAI: Grok 4, Grok 4 Fast, Grok Code Fast

  • Local: Qwen2 72B, Phi4, Mixtral, CodeLlama, Falcon

  • Others: Kimi K2.5, Ouro

사용 중인 모델이 목록에 없으면 알려주세요. 모델을 특성화하여 추가하겠습니다. 새로운 모델을 정기적으로 추가하고 있습니다.

직접 API 액세스

MCP 서버는 모델 호출 중 전체 추론 신호를 캡처하므로 가장 풍부한 탐지 기능을 제공합니다. 탐지 API를 직접 호출해야 하는 특정 워크플로우(CI/CD 파이프라인, 사용자 지정 오케스트레이터, 배치 처리)가 있는 경우 REST 엔드포인트를 사용할 수 있습니다:

POST https://arkheia-proxy-production.up.railway.app/v1/detect

추론 데이터가 없는 직접 API 호출은 구조적 분석만 제공합니다. 완전한 행동 지문 분석을 위해서는 MCP 도구를 사용하세요. 모든 것이 자동으로 캡처됩니다. 사용자 지정 통합을 구축 중이고 완전한 탐지 품질을 원하시면 연락해 주세요. 설정을 도와드리겠습니다.

MCP 도구

도구

설명

arkheia_verify

모델 응답의 조작 위험 점수 매기기

arkheia_audit_log

탐지 기록 검토

run_grok

Grok 호출 + 조작 검사

run_gemini

Gemini 호출 + 조작 검사

run_ollama

로컬 Ollama 모델 호출 + 조작 검사

run_together

Together AI (Kimi, DeepSeek) 호출 + 조작 검사

가격

플랜

가격

탐지 횟수

동시성

무료

$0

월 1,500회

5

단일 기여자

$99/월

무제한

5

전문가

$499/월

무제한

20

$1,999/월

무제한

50

무료 티어는 신용카드가 필요하지 않습니다. 준비가 되면 업그레이드하세요.

피드백

우리는 이 도구가 필요했기 때문에 만들었습니다. 우리는 프로덕션 환경에서 151개의 AI 에이전트를 운영하고 있으며, 모든 에이전트가 Arkheia의 검사를 받습니다.

사용 중이시라면 — 마음에 드시든, 싫으시든, 다른 기능이 필요하시든 — 여러분의 의견을 듣고 싶습니다:

모든 메시지를 읽고 있습니다. 모든 피드백이 다음 개발 방향을 결정합니다.

요구 사항

  • Python 3.10+

  • Node.js 18+ (npx 설치용)

  • Git

링크

Related MCP Connectors

Related MCP Servers

  • A
    license
    Not graded
    quality
    C
    maintenance
    Provides advanced evaluation tools for assessing AI safety, alignment, and performance of LLM outputs. Enables programmatic evaluation of quality, safety metrics like toxicity and PII detection, and operational metrics including carbon footprint and cost estimation.
    4
    Apache 2.0
  • A
    license
    A
    quality
    A
    maintenance
    Enables hallucination detection for AI assistants by providing tools to assess whether responses are grounded in source material or follow grounded patterns.
    3
    Apache 2.0
  • A
    license
    A
    quality
    D
    maintenance
    Fact-checks and fixes AI outputs by catching hallucinations, repairing broken JSON, and correcting errors before they reach users, with tools for verification, validation, and correction.
    4
    37 npm
    MIT