ConKurrence

コマンド一つで、AIが自己と合意しているかを確認できます。

ConKurrenceは、AI評価パイプラインのための統計的に検証された合意測定ツールキットです。複数のAIモデルを独立した評価者として使用し、Fleiss' kappaとブートストラップ信頼区間を用いて評価者間信頼性を測定し、意見が分かれた項目を人間の専門家にルーティングします。

インストール

npm install -g conkurrence

MCPサーバー

Claude DesktopやMCP互換クライアントでConKurrenceをMCPサーバーとして使用します：

npx conkurrence mcp

Claude Desktopの設定

claude_desktop_config.json に以下を追加します：

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Claude Codeプラグイン

/plugin marketplace add AlligatorC0der/conkurrence

特徴

• マルチモデル評価 — Bedrock、OpenAI、Geminiモデルに対して同時にスキーマを実行

• 統計的厳密さ — ブートストラップ信頼区間を用いたFleiss' kappa、妥当性のためのKendall's W

• 自己整合性モード — APIキー不要。MCPサンプリングを介してホストモデルを使用

• スキーマ提案 — データからAIがスキーマ設計を提案

• トレンド追跡 — 実行結果を時系列で比較し、合意度の低下を検出

• コスト見積もり — 実行前にコストを把握

MCPツール

リンク

• ホームページ: conkurrence.com

• npm: npmjs.com/package/conkurrence

• 利用規約: app.conkurrence.com/terms

• プライバシーポリシー: app.conkurrence.com/privacy

ライセンス

BUSL-1.1 — Business Source License 1.1