ConKurrence

Un comando. Descubre si tu IA está de acuerdo consigo misma.

ConKurrence es un kit de herramientas de medición de consenso estadísticamente validado para pipelines de evaluación de IA. Utiliza múltiples modelos de IA como evaluadores independientes, mide la fiabilidad entre evaluadores con la kappa de Fleiss e intervalos de confianza bootstrap, y deriva los elementos en disputa a expertos humanos.

Instalación

npm install -g conkurrence

Servidor MCP

Utiliza ConKurrence como servidor MCP en Claude Desktop o en cualquier cliente compatible con MCP:

npx conkurrence mcp

Configuración de Claude Desktop

Añádelo a tu claude_desktop_config.json:

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Plugin de Claude Code

/plugin marketplace add AlligatorC0der/conkurrence

Características

Evaluación multimodelo — Ejecuta tu esquema contra modelos de Bedrock, OpenAI y Gemini simultáneamente
Rigor estadístico — Kappa de Fleiss con intervalos de confianza bootstrap, W de Kendall para la validez
Modo de autoconsistencia — No se necesitan claves API; utiliza el modelo anfitrión a través de MCP Sampling
Sugerencia de esquema — Diseño de esquemas basado en IA a partir de tus datos
Seguimiento de tendencias — Compara ejecuciones a lo largo del tiempo, detecta la degradación del acuerdo
Estimación de costes — Conoce el coste antes de ejecutar

Herramientas MCP

Herramienta	Descripción
`conkurrence_run`	Ejecuta una evaluación a través de múltiples evaluadores de IA
`conkurrence_report`	Genera un informe detallado en markdown
`conkurrence_compare`	Comparación lado a lado de dos ejecuciones
`conkurrence_trend`	Realiza un seguimiento del acuerdo a lo largo de múltiples ejecuciones
`conkurrence_suggest`	Sugerencia de esquema basada en IA a partir de tus datos
`conkurrence_validate_schema`	Valida un esquema antes de ejecutar
`conkurrence_estimate`	Estima el coste y el uso de tokens

Enlaces

Página principal: conkurrence.com
npm: npmjs.com/package/conkurrence
Términos de servicio: app.conkurrence.com/terms
Política de privacidad: app.conkurrence.com/privacy

Licencia

BUSL-1.1 — Business Source License 1.1

conKurrence