Skip to main content
Glama

ConKurrence

一条命令。找出你的 AI 是否与自身达成一致。

ConKurrence 是一个用于 AI 评估流水线的统计验证一致性测量工具包。它使用多个 AI 模型作为独立评估者,通过 Fleiss' kappa 和自助法置信区间衡量评估者间的一致性,并将有争议的项目路由给人类专家。

安装

npm install -g conkurrence

MCP 服务器

在 Claude Desktop 或任何兼容 MCP 的客户端中将 ConKurrence 用作 MCP 服务器:

npx conkurrence mcp

Claude Desktop 配置

添加到你的 claude_desktop_config.json

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Claude Code 插件

/plugin marketplace add AlligatorC0der/conkurrence

功能

  • 多模型评估 — 同时针对 Bedrock、OpenAI 和 Gemini 模型运行你的模式

  • 统计严谨性 — 带有自助法置信区间的 Fleiss' kappa,用于验证的 Kendall's W

  • 自洽模式 — 无需 API 密钥;通过 MCP 采样使用宿主模型

  • 模式建议 — 基于你的数据进行 AI 驱动的模式设计

  • 趋势跟踪 — 比较不同时间的运行结果,检测一致性下降

  • 成本估算 — 在运行前了解成本

MCP 工具

工具

描述

conkurrence_run

在多个 AI 评估者之间执行评估

conkurrence_report

生成详细的 Markdown 报告

conkurrence_compare

两次运行的并排比较

conkurrence_trend

跟踪多次运行的一致性

conkurrence_suggest

基于你的数据的 AI 驱动模式建议

conkurrence_validate_schema

在运行前验证模式

conkurrence_estimate

估算成本和 Token 使用量

链接

许可证

BUSL-1.1 — 商业源码许可证 1.1

-
security - not tested
F
license - not found
-
quality - not tested

Latest Blog Posts

MCP directory API

We provide all the information about MCP servers via our MCP API.

curl -X GET 'https://glama.ai/api/mcp/v1/servers/AlligatorC0der/conkurrence'

If you have feedback or need assistance with the MCP directory API, please join our Discord server