AI Agent Release Assurance MCP

Versión 0.1: Inteligencia de lanzamientos basada en datos sintéticos de QA.
Las capacidades de evaluación de agentes de IA están planificadas para la versión 0.2.

Un servidor Model Context Protocol (MCP) explicable que ayuda a los clientes de IA a analizar resultados de pruebas de software y defectos, y a producir recomendaciones de preparación para el lanzamiento basadas en evidencias.

Todos los lanzamientos, pruebas, defectos y escenarios de impacto en el cliente de este repositorio son ficticios. No se utilizan datos de empleadores, clientes, producción, personales ni regulados.

Por qué existe este proyecto

Las decisiones de lanzamiento a menudo requieren evidencias distribuidas entre resultados de pruebas, registros de defectos y documentación del equipo.

Este servidor proporciona a un cliente de IA una interfaz pequeña y de solo lectura para responder preguntas como:

• ¿Debería publicarse un lanzamiento concreto?

• ¿Qué pruebas fallidas son posibles bloqueadores del lanzamiento?

• ¿Dónde se concentra el riesgo de defectos no resueltos?

• ¿Qué pruebas deberían priorizarse durante las pruebas de regresión selectivas?

La IA no inventa la puntuación de riesgo. El servidor la calcula de forma determinista y devuelve las evidencias subyacentes, las ponderaciones, los bloqueadores y las próximas acciones recomendadas para revisión humana.

Related MCP server: QA-MCP: Test Standardization & Orchestration Server

Capacidades actuales

Arquitectura

flowchart TD
    A[AI host or MCP Inspector] -->|MCP request| B[Python MCP server]
    B --> C[QA service and risk rules]
    C --> D[(Synthetic SQLite data)]
    D --> C
    C -->|Structured evidence| B
    B -->|Tool result| A
    D -. optional migration .-> E[(Snowflake)]

SQLite mantiene la versión 0.1 reproducible y sin credenciales. El archivo opcional snowflake/setup.sql demuestra una posible ruta MCP nativa de Snowflake.

Inicio rápido

Requisitos

• Python 3.10 o superior

• uv

• Node.js/npm para el MCP Inspector visual

Instalación y ejecución

git clone https://github.com/Zoya-Ammar/ai-agent-release-assurance-mcp.git
cd ai-agent-release-assurance-mcp
uv sync --extra dev
uv run python -m banking_qa_mcp.seed
uv run mcp dev src/banking_qa_mcp/server.py

El último comando inicia MCP Inspector.

Abra Tools, seleccione assess_release_readiness y proporcione:

{
  "release_id": "REL-2026.08.1"
}

Resultado principal esperado:

{
  "recommendation": "NO_GO",
  "risk_score": 100,
  "test_pass_rate_percent": 62.5,
  "blockers": [
    "Open SEV1 defect",
    "Failed or blocked critical test",
    "Failed or blocked high-criticality test"
  ]
}

Para comparar, REL-2026.08.2 devuelve GO con una puntuación de riesgo de 7.

Ejecutar las pruebas

Ejecute la suite completa de pruebas automatizadas:

uv run pytest -q

Ejecute la verificación del núcleo sin dependencias:

uv run python scripts/smoke_test.py

La versión 0.1 incluye pruebas para:

• Recomendaciones de lanzamiento de riesgo alto y riesgo más bajo

• Filtrado de resultados de pruebas

• Límites y priorización de los planes de regresión

• Identificadores de lanzamiento no válidos

Puntuación de riesgo explicable

La puntuación tiene un tope de 100:

25 × failed or blocked critical tests
12 × failed or blocked high-criticality tests
35 × open SEV1 defects
18 × open SEV2 defects
 7 × open SEV3 defects
 2 × open SEV4 defects

Un defecto SEV1 abierto, una prueba crítica fallida o bloqueada, o una prueba de alta criticidad fallida o bloqueada también se notifica como bloqueador de lanzamiento explícito.

Estas ponderaciones son una política de demostración—no un estándar universal de servicios financieros o de calidad de software. En producción, los umbrales requerirían aprobación, control de versiones, validación y revisión periódica por parte de los propietarios de riesgo correspondientes.

Consideraciones de seguridad

La versión 0.1 es deliberadamente de solo lectura en la capa de aplicación. Una implementación de producción también debería incluir:

• Autenticación y autorización basada en roles

• Roles de base de datos y de servicio con privilegios mínimos

• Validación de entrada y salida

• Registros de auditoría para las llamadas a herramientas y las recomendaciones

• Límites de tasa y observabilidad

• Gestión de secretos y transporte cifrado

• Aprobación humana para las decisiones de lanzamiento

• Pruebas de inyección de prompts para el contenido recuperado

El ejemplo opcional de Snowflake incluye una herramienta nativa de ejecución de SQL para fines de demostración en un entorno aislado. Debería restringirse mediante un rol dedicado de solo lectura y acotarse aún más antes de cualquier uso que no sea de demostración.

Hoja de ruta de la versión 0.2

La próxima versión ampliará esta base de inteligencia de lanzamientos para convertirla en un sistema de aseguramiento de agentes de IA.

Las capacidades planificadas incluyen:

• Un corpus original de evaluación de agentes de IA

• Validación de fundamentación y citas

• Pruebas de resistencia a la inyección de prompts

• Comprobaciones de privacidad y minimización de datos

• Escenarios de accesibilidad y de rutas negativas

• Comparaciones entre la línea base y el candidato

• Detección de regresiones entre versiones de agentes

• Ejecución de interfaz de usuario y accesibilidad basada en Playwright

• Evidencias de evaluación respaldadas por Snowflake

• Recomendaciones de lanzamiento de agentes de IA revisadas por humanos

Estado del proyecto

Este repositorio es un prototipo educativo de portafolio. No es un sistema bancario de producción, una herramienta de cumplimiento normativo ni una autoridad autónoma de lanzamientos.

Referencias

• SDK oficial de MCP Python

• Documentación de Snowflake CREATE MCP SERVER

Licencia

Este proyecto está disponible bajo la Licencia MIT.