ConKurrence

명령어 하나로 AI가 스스로 동의하는지 확인하세요.

ConKurrence는 AI 평가 파이프라인을 위한 통계적으로 검증된 합의 측정 툴킷입니다. 여러 AI 모델을 독립적인 평가자로 사용하고, Fleiss' kappa 및 부트스트랩 신뢰 구간을 통해 평가자 간 신뢰도를 측정하며, 의견이 갈리는 항목을 인간 전문가에게 전달합니다.

설치

npm install -g conkurrence

MCP 서버

Claude Desktop 또는 MCP 호환 클라이언트에서 ConKurrence를 MCP 서버로 사용하세요:

npx conkurrence mcp

Claude Desktop 설정

claude_desktop_config.json에 다음을 추가하세요:

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Claude Code 플러그인

/plugin marketplace add AlligatorC0der/conkurrence

주요 기능

다중 모델 평가 — Bedrock, OpenAI, Gemini 모델을 대상으로 스키마를 동시에 실행
통계적 엄밀성 — 부트스트랩 신뢰 구간을 포함한 Fleiss' kappa, 타당성 검증을 위한 Kendall's W
자기 일관성 모드 — API 키 불필요; MCP 샘플링을 통해 호스트 모델 사용
스키마 제안 — 데이터로부터 AI 기반 스키마 설계
추세 추적 — 시간 경과에 따른 실행 결과를 비교하고 일치도 저하 감지
비용 추정 — 실행 전 비용 확인

MCP 도구

도구	설명
`conkurrence_run`	여러 AI 평가자에 걸쳐 평가 실행
`conkurrence_report`	상세 마크다운 보고서 생성
`conkurrence_compare`	두 실행 결과의 나란히 비교
`conkurrence_trend`	여러 실행에 걸친 일치도 추적
`conkurrence_suggest`	데이터로부터 AI 기반 스키마 제안
`conkurrence_validate_schema`	실행 전 스키마 유효성 검사
`conkurrence_estimate`	비용 및 토큰 사용량 추정