compare-mcp

Claude Code CLI 내에서 순위가 매겨진 할 일(todo) 목록과 서브 에이전트 파견 기능을 갖춘 다중 모델 코드 리뷰 도구입니다.

Claude Code는 코드 리뷰에 탁월하지만, 단일 모델과만 대화할 수 있습니다. 최근 Copilot CLI는 다중 모델 디버깅 기능을 출시하여 GPT, Claude, Gemini에 한 번에 문제를 던져볼 수 있게 되었습니다. Claude Code는 기본적으로 이 기능을 지원하지 않습니다. 이 MCP 서버가 그 기능을 추가합니다: 직접 API 키를 가져와 원하는 모델 조합으로 배포하고, 각 모델이 발견한 내용을 비교(diff)하여 순위가 매겨진 목록으로 받아보세요.

버그나 작업을 여러 LLM에 동시에 배포하고, 각 모델의 고유한 통찰력을 비교하며, 선택적으로 모델들이 서로를 비판하는 토론 라운드를 실행한 뒤, 병렬 서브 에이전트를 파견하여 결합된 최선의 수정 사항을 각각 git 커밋으로 구현할 수 있습니다.

데모

https://github.com/user-attachments/assets/8990dabb-bc61-4625-8930-c914cffe75da

/compare models → /compare review config.py for security issues → /compare --debate → /compare status

Related MCP server: Debate Agent MCP

아키텍처

설치

pip install compare-mcp
claude mcp add -s user compare-mcp -- python -m compare_mcp

그런 다음 /compare 스킬과 예제 설정을 가져옵니다:

git clone https://github.com/carolinacherry/compare-mcp.git --depth 1
mkdir -p ~/.claude/skills ~/.compare
cp -r compare-mcp/.claude/skills/compare ~/.claude/skills/
cp compare-mcp/.compare/config.example.json ~/.compare/config.json

빠른 시작

1. ~/.compare/config.json을 편집하세요 — "enabled": true로 설정하고 API 키( $ENV_VAR 참조 또는 키 직접 입력)를 추가하여 최소 2개 이상의 제공자를 활성화합니다.

2. Claude Code에서:

   /compare memory leak in the tile rendering loop
   /compare race condition in the connection pool --debate --providers claude,openai
   /compare status
   /compare models

설정 참조

설정 파일은 ~/.compare/config.json에 위치합니다. API 키는 로드 시점에 확장되는 $ENV_VAR 구문을 사용합니다.

제공자 유형

비교 설정

타임아웃 참고: 일부 모델(예: Kimi의 kimi-k2.5)은 대규모 프롬프트에서 GPT-4o보다 훨씬 느리며 60초에서 타임아웃이 발생할 수 있습니다. 기본값은 120초입니다. 제공자가 지속적으로 타임아웃되는 경우 더 빠른 모델 변형을 시도하세요. Kimi의 경우 moonshot-v1-auto가 kimi-k2.5보다 빠르며 적절한 컨텍스트 윈도우를 자동으로 선택합니다.

제공자 추가

모든 OpenAI 호환 엔드포인트

{
  "my_provider": {
    "enabled": true,
    "type": "openai_compat",
    "api_key": "$MY_API_KEY",
    "model": "model-name",
    "base_url": "https://api.example.com/v1"
  }
}

지원 대상: OpenAI, Kimi (api.moonshot.ai), Minimax (api.minimax.io), Gemini (generativelanguage.googleapis.com/v1beta/openai/), Ollama API (localhost:11434/v1), OpenRouter, Together AI, Groq 등.

CLI 서브프로세스 모델

{
  "ollama_local": {
    "enabled": true,
    "type": "cli",
    "cli_command": "ollama",
    "cli_args": ["run", "codellama"],
    "cli_parser": "text"
  }
}

cli_parser 옵션: "text" (원시 stdout), "json" (JSON으로 파싱), "jsonl" (마지막 완전한 JSON 라인).

명령어

Claude Code에서 다음 중 하나를 입력하세요:

/compare가 실행된 후, 발견된 문제를 해결하기 위해 서브 에이전트를 병렬로 파견할지 묻는 메시지가 표시됩니다. 각 서브 에이전트는 하나의 할 일을 맡아 수정 사항을 구현하고 커밋합니다.

작동 원리

1. 배포(Dispatch) — compare_run은 asyncio.gather를 통해 코드와 문제를 모든 활성화된 제공자에게 배포합니다. 타임아웃되거나 오류가 발생한 제공자는 제외되며 전체 실행을 중단시키지 않습니다.

2. 비교(Diff) — compare_diff는 rapidfuzz(토큰 정렬 비율)를 사용하여 제공자 간의 중복된 결과를 제거합니다. 2개 이상의 제공자가 발견한 내용은 "공유"로, 나머지는 "고유"로 분류됩니다. 합의율 = 공유 / 전체 고유 그룹.

3. 토론(Debate) (선택 사항) — compare_debate는 각 제공자의 결과를 다른 모든 제공자에게 보내 비판하게 합니다. 합성 호출을 통해 결과를 병합합니다. API 호출 제한을 위해 4개 제공자로 제한됩니다 (N*(N-1)+1).

4. 할 일(Todos) — compare_todos는 순위가 매겨진 결과를 SQLite에 기록합니다. 심각도가 높은 순, 그 다음 제공자 수 순으로 정렬됩니다.

5. 실행(Execute) — /compare 스킬은 할 일당 하나씩 병렬 Claude Code 서브 에이전트를 파견합니다. 각 에이전트는 수정 사항을 구현하고 커밋합니다.

MCP 도구 (7)

vs multi_mcp

multi_mcp는 병렬 배포를 잘 수행합니다. compare-mcp는 그 위에 워크플로우 계층을 구축합니다:

vs Copilot CLI 다중 모델

Copilot CLI는 GitHub의 API 프록시를 통해 라우팅되므로 사용자 직접 키(BYO) 사용이 불가능하며 Kimi/Minimax/로컬 모델을 사용할 수 없습니다. compare-mcp는 제공자 API를 직접 호출하므로 전체 컨텍스트 윈도우, 사용자 고유의 속도 제한, HTTP 엔드포인트나 CLI 바이너리가 있는 모든 모델을 사용할 수 있습니다.

개발

git clone https://github.com/carolinacherry/compare-mcp.git
cd compare-mcp
pip install -e ".[dev]"
pytest
ruff check .