MCP 소프트웨어 엔지니어링 RL 환경 (미니 프로젝트)

Model Context Protocol(MCP)을 통해 AI 코딩 에이전트를 평가하기 위한 재현 가능한 벤치마크 환경입니다.

에이전트는 작업을 받고, MCP 도구를 통해 저장소 정보를 탐색하며, 코드를 수정하고, 결정적 검증을 실행합니다. 벤치마크는 에이전트가 도구를 올바르게 사용했는지와 최종 저장소가 명세를 충족하는지 여부를 기록합니다.

시나리오

저장소에는 작은 인벤토리 서비스가 포함되어 있습니다. InventoryService.search()는 의도적으로 결함이 있습니다. 제품에 일치하는 태그가 여러 개 있으면 해당 제품이 두 번 이상 나타날 수 있습니다. 에이전트는 버그를 진단하고, 기능을 해치지 않는 수정을 구현하고, 회귀 테스트를 추가해야 합니다.

Related MCP server: Coding Tools MCP

환경 계약

에이전트는 다음 MCP 도구를 사용할 수 있습니다:

• list_files() - 저장소 구조 확인

• read_file(path) - 저장소 파일 읽기

• search_code(query) - 소스 코드 검색

• write_file(path, content) - 파일 수정/생성

• run_tests() - 결정적 테스트 실행

• git_diff() - 변경 사항 확인

환경 자체는 verify.py로 결과를 검증합니다. 골든 솔루션은 golden/solution.patch에 별도로 저장됩니다.

실행

python -m venv .venv
# Linux/macOS
source .venv/bin/activate
# Windows PowerShell: .venv\\Scripts\\Activate.ps1
pip install -r requirements.txt

python -m mcp_rl_env.server

다른 터미널에서:

python verify.py

참조 솔루션 실행:

python apply_golden.py
python verify.py

벤치마크 아이디어

평가 에피소드는 다음과 같습니다:

1. 저장소를 과제 초기 상태로 재설정합니다.

2. 에이전트에게 작업 명세만 제공합니다.

3. MCP 서버를 시작합니다.

4. 에이전트가 MCP를 사용해 파일을 탐색합니다.

5. 에이전트가 버그를 진단하고 코드를 수정합니다.

6. 에이전트가 테스트를 실행합니다.

7. 결정적 검증기가 보상을 계산합니다.

간단한 보상은 다음과 같습니다:

reward = 0.50 * tests + 0.20 * regression_test + 0.15 * tool_use + 0.15 * patch_quality

중요한 점은 검증이 결정적이라는 것이며, 모델이 스스로 채점하지 않는다는 것입니다.