compare-mcp

Проверка кода с использованием нескольких моделей, ранжированием задач (todo) и отправкой субагентов внутри CLI Claude Code.

Claude Code отлично справляется с проверкой кода, но взаимодействует только с одной моделью. В Copilot CLI недавно появилась функция отладки с использованием нескольких моделей, позволяющая одновременно проанализировать проблему с помощью GPT, Claude и Gemini. Claude Code не умеет делать это «из коробки». Этот MCP-сервер добавляет такую возможность: используйте свои API-ключи, распределяйте задачи между любыми комбинациями моделей и получайте сравнительный, ранжированный список того, что нашла каждая из них.

Распределяйте любую ошибку или задачу между несколькими LLM одновременно, сравнивайте их уникальные выводы, при необходимости запускайте раунд дебатов, где модели критикуют друг друга, а затем отправляйте параллельных субагентов для реализации лучших комбинированных исправлений — каждое с собственным git-коммитом.

Демо

https://github.com/user-attachments/assets/8990dabb-bc61-4625-8930-c914cffe75da

/compare models → /compare review config.py for security issues → /compare --debate → /compare status

Related MCP server: Debate Agent MCP

Архитектура

Установка

pip install compare-mcp
claude mcp add -s user compare-mcp -- python -m compare_mcp

Затем получите навык /compare и пример конфигурации:

git clone https://github.com/carolinacherry/compare-mcp.git --depth 1
mkdir -p ~/.claude/skills ~/.compare
cp -r compare-mcp/.claude/skills/compare ~/.claude/skills/
cp compare-mcp/.compare/config.example.json ~/.compare/config.json

Быстрый старт

1. Отредактируйте ~/.compare/config.json — включите как минимум 2 провайдера, установив "enabled": true и добавив свой API-ключ (либо в виде ссылки на $ENV_VAR, либо вставив ключ напрямую).

2. В Claude Code:

   /compare memory leak in the tile rendering loop
   /compare race condition in the connection pool --debate --providers claude,openai
   /compare status
   /compare models

Справочник конфигурации

Конфигурация находится в ~/.compare/config.json. API-ключи используют синтаксис $ENV_VAR — они раскрываются во время загрузки.

Типы провайдеров

Настройки сравнения

Примечание о тайм-ауте: Некоторые модели (например, kimi-k2.5 от Kimi) значительно медленнее, чем GPT-4o, при работе с большими промптами и могут превысить тайм-аут в 60 секунд. Мы установили значение по умолчанию 120 секунд. Если провайдер постоянно выдает тайм-аут, попробуйте более быстрый вариант модели — для Kimi moonshot-v1-auto быстрее, чем kimi-k2.5, и автоматически выбирает подходящее контекстное окно.

Добавление провайдеров

Любой OpenAI-совместимый эндпоинт

{
  "my_provider": {
    "enabled": true,
    "type": "openai_compat",
    "api_key": "$MY_API_KEY",
    "model": "model-name",
    "base_url": "https://api.example.com/v1"
  }
}

Работает с: OpenAI, Kimi (api.moonshot.ai), Minimax (api.minimax.io), Gemini (generativelanguage.googleapis.com/v1beta/openai/), Ollama API (localhost:11434/v1), OpenRouter, Together AI, Groq и др.

Модель через CLI subprocess

{
  "ollama_local": {
    "enabled": true,
    "type": "cli",
    "cli_command": "ollama",
    "cli_args": ["run", "codellama"],
    "cli_parser": "text"
  }
}

Опции cli_parser: "text" (сырой stdout), "json" (парсинг как JSON), "jsonl" (последняя полная строка JSON).

Команды

В Claude Code введите любую из этих команд:

После выполнения /compare вам будет предложено отправить субагентов для параллельного исправления найденных проблем. Каждый субагент получает одну задачу, реализует исправление и делает коммит.

Как это работает

1. Dispatch (Распределение) — compare_run распределяет код + задачу между всеми включенными провайдерами через asyncio.gather. Провайдеры, которые превысили тайм-аут или выдали ошибку, исключаются и не приводят к сбою всего процесса.

2. Diff (Сравнение) — compare_diff использует rapidfuzz (token sort ratio) для дедупликации выводов между провайдерами. Выводы, замеченные 2+ провайдерами, считаются «общими»; остальные — «уникальными». Коэффициент согласия = общие / общее количество уникальных групп.

3. Debate (Дебаты, опционально) — compare_debate отправляет выводы каждого провайдера всем остальным для критики. Вызов синтеза объединяет результаты. Ограничено 4 провайдерами для ограничения количества вызовов API (N*(N-1)+1).

4. Todos (Задачи) — compare_todos записывает ранжированные выводы в SQLite. Сначала высокий приоритет, затем по количеству провайдеров.

5. Execute (Выполнение) — Навык /compare отправляет параллельных субагентов Claude Code, по одному на задачу. Каждый реализует исправление и делает коммит.

MCP инструменты (7)

vs multi_mcp

multi_mcp хорошо справляется с параллельным распределением. compare-mcp выстраивает поверх него уровень рабочего процесса:

vs Copilot CLI multi-model

Copilot CLI маршрутизирует запросы через API-прокси GitHub — нет возможности использовать свои ключи, нет поддержки Kimi/Minimax/локальных моделей. compare-mcp вызывает API провайдеров напрямую: полные контекстные окна, ваши собственные лимиты скорости, любая модель с HTTP-эндпоинтом или CLI-бинарником.

Разработка

git clone https://github.com/carolinacherry/compare-mcp.git
cd compare-mcp
pip install -e ".[dev]"
pytest
ruff check .