ConKurrence

Un comando. Descubre si tu IA está de acuerdo consigo misma.

ConKurrence es un kit de herramientas de medición de consenso estadísticamente validado para pipelines de evaluación de IA. Utiliza múltiples modelos de IA como evaluadores independientes, mide la fiabilidad entre evaluadores con la kappa de Fleiss e intervalos de confianza bootstrap, y deriva los elementos en disputa a expertos humanos.

Instalación

npm install -g conkurrence

Related MCP server: CI-1T Prediction Stability Engine

Servidor MCP

Utiliza ConKurrence como servidor MCP en Claude Desktop o en cualquier cliente compatible con MCP:

npx conkurrence mcp

Configuración de Claude Desktop

Añádelo a tu claude_desktop_config.json:

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Plugin de Claude Code

/plugin marketplace add AlligatorC0der/conkurrence

Características

• Evaluación multimodelo — Ejecuta tu esquema contra modelos de Bedrock, OpenAI y Gemini simultáneamente

• Rigor estadístico — Kappa de Fleiss con intervalos de confianza bootstrap, W de Kendall para la validez

• Modo de autoconsistencia — No se necesitan claves API; utiliza el modelo anfitrión a través de MCP Sampling

• Sugerencia de esquema — Diseño de esquemas basado en IA a partir de tus datos

• Seguimiento de tendencias — Compara ejecuciones a lo largo del tiempo, detecta la degradación del acuerdo

• Estimación de costes — Conoce el coste antes de ejecutar

Herramientas MCP

Enlaces

• Página principal: conkurrence.com

• npm: npmjs.com/package/conkurrence

• Términos de servicio: app.conkurrence.com/terms

• Política de privacidad: app.conkurrence.com/privacy

Licencia

BUSL-1.1 — Business Source License 1.1