ConKurrence

Ein Befehl. Finden Sie heraus, ob Ihre KI sich selbst einig ist.

ConKurrence ist ein statistisch validiertes Konsens-Mess-Toolkit für KI-Evaluierungspipelines. Es verwendet mehrere KI-Modelle als unabhängige Bewerter, misst die Zuverlässigkeit zwischen den Bewertern mit Fleiss' Kappa und Bootstrap-Konfidenzintervallen und leitet umstrittene Elemente an menschliche Experten weiter.

Installation

npm install -g conkurrence

MCP-Server

Verwenden Sie ConKurrence als MCP-Server in Claude Desktop oder einem beliebigen MCP-kompatiblen Client:

npx conkurrence mcp

Claude Desktop-Konfiguration

Fügen Sie dies zu Ihrer claude_desktop_config.json hinzu:

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Claude Code-Plugin

/plugin marketplace add AlligatorC0der/conkurrence

Funktionen

Multi-Modell-Evaluierung — Führen Sie Ihr Schema gleichzeitig gegen Bedrock-, OpenAI- und Gemini-Modelle aus
Statistische Genauigkeit — Fleiss' Kappa mit Bootstrap-Konfidenzintervallen, Kendall's W für Validität
Selbstkonsistenz-Modus — Keine API-Schlüssel erforderlich; nutzt das Host-Modell via MCP Sampling
Schema-Vorschlag — KI-gestütztes Schema-Design basierend auf Ihren Daten
Trendverfolgung — Vergleichen Sie Durchläufe im Zeitverlauf, erkennen Sie Verschlechterungen der Übereinstimmung
Kostenschätzung — Kennen Sie die Kosten vor der Ausführung

MCP-Tools

Tool	Beschreibung
`conkurrence_run`	Führt eine Evaluierung über mehrere KI-Bewerter hinweg aus
`conkurrence_report`	Erstellt einen detaillierten Markdown-Bericht
`conkurrence_compare`	Side-by-Side-Vergleich zweier Durchläufe
`conkurrence_trend`	Verfolgt die Übereinstimmung über mehrere Durchläufe hinweg
`conkurrence_suggest`	KI-gestützter Schema-Vorschlag basierend auf Ihren Daten
`conkurrence_validate_schema`	Validiert ein Schema vor der Ausführung
`conkurrence_estimate`	Schätzt Kosten und Token-Verbrauch