AI Agent Release Assurance MCP

Version 0.1： 使用合成 QA 数据的发布智能基础。
AI 智能体评估能力计划在 Version 0.2 中提供。

一个可解释的 Model Context Protocol (MCP) 服务器，帮助 AI 客户端分析软件测试结果和缺陷，并生成基于证据的发布就绪建议。

本仓库中的所有发布、测试、缺陷和客户影响场景均为虚构。未使用任何雇主、客户、生产环境、个人或受监管数据。

为什么创建这个项目

发布决策通常需要分散在测试结果、缺陷记录和团队文档中的证据。

该服务器为 AI 客户端提供了一个小型只读接口，用于回答如下问题：

• 某个特定发布是否应该上线？

• 哪些失败的测试是潜在的发布阻塞项？

• 未解决的缺陷风险集中在哪些地方？

• 在定向回归测试中应优先执行哪些测试？

AI 不会凭空得出风险评分。服务器以确定性方式计算该评分，并返回底层证据、权重、阻塞项和建议的后续操作，供人工审查。

Related MCP server: QA-MCP: Test Standardization & Orchestration Server

当前能力

架构

flowchart TD
    A[AI host or MCP Inspector] -->|MCP request| B[Python MCP server]
    B --> C[QA service and risk rules]
    C --> D[(Synthetic SQLite data)]
    D --> C
    C -->|Structured evidence| B
    B -->|Tool result| A
    D -. optional migration .-> E[(Snowflake)]

SQLite 使 Version 0.1 可重现且无需凭据。可选的 snowflake/setup.sql 文件演示了一种可能的 Snowflake 原生 MCP 路径。

快速入门

环境要求

• Python 3.10 或更高版本

• uv

• Node.js/npm，用于可视化 MCP Inspector

安装并运行

git clone https://github.com/Zoya-Ammar/ai-agent-release-assurance-mcp.git
cd ai-agent-release-assurance-mcp
uv sync --extra dev
uv run python -m banking_qa_mcp.seed
uv run mcp dev src/banking_qa_mcp/server.py

最后一条命令将启动 MCP Inspector。

打开 工具，选择 assess_release_readiness，并提供：

{
  "release_id": "REL-2026.08.1"
}

预期的主要结果：

{
  "recommendation": "NO_GO",
  "risk_score": 100,
  "test_pass_rate_percent": 62.5,
  "blockers": [
    "Open SEV1 defect",
    "Failed or blocked critical test",
    "Failed or blocked high-criticality test"
  ]
}

作为对比，REL-2026.08.2 返回 GO，风险评分为 7。

运行测试

运行完整的自动化测试套件：

uv run pytest -q

运行无依赖的核心验证：

uv run python scripts/smoke_test.py

Version 0.1 包含以下测试：

• 高风险和较低风险发布建议

• 测试结果筛选

• 回归计划的限制和优先级排序

• 无效的发布标识符

可解释的风险评分

评分上限为 100：

25 × failed or blocked critical tests
12 × failed or blocked high-criticality tests
35 × open SEV1 defects
18 × open SEV2 defects
 7 × open SEV3 defects
 2 × open SEV4 defects

未关闭的 SEV1 缺陷、失败或阻塞的关键测试，以及失败或阻塞的高关键性测试，也会被报告为明确的发布阻塞项。

这些权重是演示策略——而非通用的金融服务或软件质量标准。在生产环境中，阈值需要由相应的风险负责人批准，并经过版本控制、验证和定期审查。

安全注意事项

Version 0.1 在应用层刻意设计为只读。生产实现还应包括：

• 身份验证和基于角色的授权

• 最小权限的数据库角色和服务角色

• 输入和输出验证

• 工具调用和推荐建议的审计日志

• 速率限制和可观测性

• 机密管理和加密传输

• 发布决策的人工审批

• 对检索内容进行提示注入测试

可选的 Snowflake 示例包含一个用于沙盒演示的原生 SQL 执行工具。它应通过专用的只读角色加以限制，并在任何非演示用途之前进一步收紧权限。

Version 0.2 路线图

下一版本将把这个发布智能基础扩展为 AI 智能体保障系统。

计划中的能力包括：

• 一个原创的 AI 智能体评估语料库

• 事实锚定和引用验证

• 提示注入抗性测试

• 隐私和数据最小化检查

• 可访问性和负向路径场景

• 基线版与候选版的对比

• 智能体版本之间的回归检测

• 基于 Playwright 的 UI 和可访问性执行

• 基于 Snowflake 的评估证据

• 经人工审查的 AI 智能体发布建议

项目状态

本仓库是一个教育用途的作品集原型。它不是生产级银行系统、合规工具，也不是自主发布决策机构。

参考资料

• 官方 MCP Python SDK

• Snowflake CREATE MCP SERVER 文档

许可证

本项目基于 MIT License 提供。