ConKurrence

Одна команда. Узнайте, согласен ли ваш ИИ сам с собой.

ConKurrence — это инструментарий для измерения консенсуса с подтвержденной статистической базой, предназначенный для конвейеров оценки ИИ. Он использует несколько моделей ИИ в качестве независимых оценщиков, измеряет надежность между оценщиками с помощью каппы Фляйса и бутстреп-доверительных интервалов, а также направляет спорные элементы экспертам-людям.

Установка

npm install -g conkurrence

MCP-сервер

Используйте ConKurrence как MCP-сервер в Claude Desktop или любом другом MCP-совместимом клиенте:

npx conkurrence mcp

Конфигурация Claude Desktop

Добавьте в ваш claude_desktop_config.json:

{
  "mcpServers": {
    "conkurrence": {
      "command": "npx",
      "args": ["-y", "conkurrence", "mcp"]
    }
  }
}

Плагин Claude Code

/plugin marketplace add AlligatorC0der/conkurrence

Возможности

Мультимодельная оценка — запускайте вашу схему одновременно для моделей Bedrock, OpenAI и Gemini
Статистическая строгость — каппа Фляйса с бутстреп-доверительными интервалами, коэффициент Кендалла для проверки валидности
Режим самосогласованности — не требуются API-ключи; использует хост-модель через MCP Sampling
Предложение схемы — проектирование схемы на базе ИИ на основе ваших данных
Отслеживание трендов — сравнивайте запуски во времени, обнаруживайте снижение уровня согласованности
Оценка стоимости — знайте стоимость до начала запуска

Инструменты MCP

Инструмент	Описание
`conkurrence_run`	Выполнение оценки с использованием нескольких ИИ-оценщиков
`conkurrence_report`	Создание подробного отчета в формате markdown
`conkurrence_compare`	Сравнение двух запусков бок о бок
`conkurrence_trend`	Отслеживание согласованности по нескольким запускам
`conkurrence_suggest`	Предложение схемы на базе ИИ на основе ваших данных
`conkurrence_validate_schema`	Проверка схемы перед запуском
`conkurrence_estimate`	Оценка стоимости и использования токенов

Ссылки

Домашняя страница: conkurrence.com
npm: npmjs.com/package/conkurrence
Условия использования: app.conkurrence.com/terms
Политика конфиденциальности: app.conkurrence.com/privacy

Лицензия

BUSL-1.1 — Business Source License 1.1

conKurrence