AI Agent Release Assurance MCP

Version 0.1: 합성 QA 데이터를 사용한 릴리스 인텔리전스 기반.
AI 에이전트 평가 기능은 Version 0.2에서 계획되어 있습니다.

이 저장소의 모든 릴리스, 테스트, 결함 및 고객 영향 시나리오는 가상의 것입니다. 고용주, 고객, 프로덕션, 개인 또는 규제 대상 데이터는 사용되지 않습니다.

이 프로젝트가 존재하는 이유

릴리스 결정에는 테스트 결과, 결함 기록, 팀 문서에 분산된 근거가 필요한 경우가 많습니다.

이 서버는 AI 클라이언트가 다음과 같은 질문에 답할 수 있도록 작은 읽기 전용 인터페이스를 제공합니다:

• 특정 릴리스가 출시되어야 할까요?

• 어떤 실패한 테스트가 잠재적 릴리스 차단 요인일까요?

• 미해결 결함 위험이 어디에 집중되어 있을까요?

• 대상 회귀 테스트 중 어떤 테스트에 우선순위를 두어야 할까요?

AI는 위험 점수를 지어내지 않습니다. 서버는 점수를 결정론적으로 계산하고, 인간 검토를 위해 기본 근거, 가중치, 차단 요인 및 권장 다음 작업을 반환합니다.

Related MCP server: QA-MCP: Test Standardization & Orchestration Server

현재 기능

아키텍처

flowchart TD
    A[AI host or MCP Inspector] -->|MCP request| B[Python MCP server]
    B --> C[QA service and risk rules]
    C --> D[(Synthetic SQLite data)]
    D --> C
    C -->|Structured evidence| B
    B -->|Tool result| A
    D -. optional migration .-> E[(Snowflake)]

SQLite는 Version 0.1을 재현 가능하게 유지하며 자격 증명이 필요 없습니다. 선택적 snowflake/setup.sql 파일은 가능한 Snowflake 네이티브 MCP 경로를 보여줍니다.

빠른 시작

요구 사항

• Python 3.10 이상

• uv

• 시각적 MCP Inspector용 Node.js/npm

설치 및 실행

git clone https://github.com/Zoya-Ammar/ai-agent-release-assurance-mcp.git
cd ai-agent-release-assurance-mcp
uv sync --extra dev
uv run python -m banking_qa_mcp.seed
uv run mcp dev src/banking_qa_mcp/server.py

마지막 명령이 MCP Inspector를 시작합니다.

도구를 열고 assess_release_readiness를 선택한 후 다음을 입력합니다:

{
  "release_id": "REL-2026.08.1"
}

예상되는 주요 결과:

{
  "recommendation": "NO_GO",
  "risk_score": 100,
  "test_pass_rate_percent": 62.5,
  "blockers": [
    "Open SEV1 defect",
    "Failed or blocked critical test",
    "Failed or blocked high-criticality test"
  ]
}

비교를 위해 REL-2026.08.2는 위험 점수 7로 GO를 반환합니다.

테스트 실행

전체 자동화 테스트 스위트를 실행합니다:

uv run pytest -q

의존성 없는 핵심 검증을 실행합니다:

uv run python scripts/smoke_test.py

Version 0.1에는 다음에 대한 테스트가 포함됩니다:

• 고위험 및 저위험 릴리스 권고

• 테스트 결과 필터링

• 회귀 테스트 계획 제한 및 우선순위 지정

• 잘못된 릴리스 식별자

설명 가능한 위험 점수 산정

점수는 100으로 상한이 적용됩니다:

25 × failed or blocked critical tests
12 × failed or blocked high-criticality tests
35 × open SEV1 defects
18 × open SEV2 defects
 7 × open SEV3 defects
 2 × open SEV4 defects

오픈 상태의 SEV1 결함, 실패하거나 차단된 중요(critical) 테스트, 또는 실패하거나 차단된 고중요도(high-criticality) 테스트도 명시적 릴리스 차단 요인으로 보고됩니다.

이러한 가중치는 데모 정책일 뿐, 보편적인 금융 서비스 또는 소프트웨어 품질 표준이 아닙니다. 프로덕션에서는 임계값에 대해 적절한 위험 소유자의 승인, 버전 관리, 검증 및 정기 검토가 필요합니다.

보안 고려 사항

Version 0.1은 애플리케이션 계층에서 의도적으로 읽기 전용입니다. 프로덕션 구현에는 다음도 포함되어야 합니다:

• 인증 및 역할 기반 권한 부여

• 최소 권한 데이터베이스 및 서비스 역할

• 입력 및 출력 검증

• 도구 호출 및 권고에 대한 감사 로그

• 속도 제한 및 관측 가능성

• 비밀 관리 및 암호화된 전송

• 릴리스 결정에 대한 인간 승인

• 검색된 콘텐츠에 대한 프롬프트 인젝션 테스트

선택적 Snowflake 예제에는 샌드박스 데모 목적의 네이티브 SQL 실행 도구가 포함되어 있습니다. 전용 읽기 전용 역할을 통해 제한되어야 하며, 데모 이외의 용도로 사용하기 전에 범위를 더욱 좁혀야 합니다.

Version 0.2 로드맵

다음 버전은 이 릴리스 인텔리전스 기반을 AI 에이전트 보증 시스템으로 확장할 것입니다.

계획된 기능은 다음과 같습니다:

• 독창적인 AI 에이전트 평가 말뭉치

• 근거(grounding) 및 인용 검증

• 프롬프트 인젝션 저항성 테스트

• 개인정보 보호 및 데이터 최소화 검사

• 접근성 및 부정 경로 시나리오

• 기준선 대비 후보 비교

• 에이전트 버전 간 회귀 탐지

• Playwright 기반 UI 및 접근성 실행

• Snowflake 기반 평가 증거

• 인간 검토를 거친 AI 에이전트 릴리스 권고

프로젝트 상태

이 저장소는 교육용 포트폴리오 프로토타입입니다. 이는 프로덕션 뱅킹 시스템, 컴플라이언스 도구 또는 자율 릴리스 권한이 아닙니다.

참고 자료

• Official MCP Python SDK

• Snowflake CREATE MCP SERVER documentation

라이선스

이 프로젝트는 MIT License에 따라 이용할 수 있습니다.