AI Agent Release Assurance MCP

Version 0.1: Grundlage der Release-Intelligence unter Verwendung synthetischer QA-Daten.
KI-Agenten-Evaluierungsfunktionen sind für Version 0.2 geplant.

Ein erklärbarer Model Context Protocol (MCP)-Server, der KI-Clients dabei hilft, Software-Testergebnisse und Fehler zu analysieren und evidenzbasierte Empfehlungen zur Release-Bereitschaft zu erstellen.

Alle Releases, Tests, Fehler und Szenarien mit Kundenauswirkung in diesem Repository sind fiktiv. Es werden keine Arbeitgeber-, Kunden-, Produktions-, personenbezogenen oder regulierten Daten verwendet.

Warum dieses Projekt existiert

Release-Entscheidungen erfordern häufig Belege, die über Testergebnisse, Fehlerdatensätze und Teamdokumentation verteilt sind.

Dieser Server bietet einem KI-Client eine kleine, schreibgeschützte Schnittstelle für Fragen wie:

• Sollte ein bestimmtes Release ausgeliefert werden?

• Welche fehlgeschlagenen Tests sind potenzielle Release-Blocker?

• Wo konzentriert sich das ungelöste Fehlerrisiko?

• Welche Tests sollten bei gezielten Regressionstests priorisiert werden?

Die KI erfindet den Risikowert nicht. Der Server berechnet ihn deterministisch und gibt die zugrunde liegenden Belege, Gewichtungen, Blocker und empfohlenen nächsten Schritte zur menschlichen Prüfung zurück.

Related MCP server: QA-MCP: Test Standardization & Orchestration Server

Aktuelle Funktionen

Architektur

flowchart TD
    A[AI host or MCP Inspector] -->|MCP request| B[Python MCP server]
    B --> C[QA service and risk rules]
    C --> D[(Synthetic SQLite data)]
    D --> C
    C -->|Structured evidence| B
    B -->|Tool result| A
    D -. optional migration .-> E[(Snowflake)]

SQLite hält Version 0.1 reproduzierbar und ohne Anmeldedaten. Die optionale Datei snowflake/setup.sql demonstriert einen möglichen Snowflake-nativen MCP-Pfad.

Schnellstart

Voraussetzungen

• Python 3.10 oder neuer

• uv

• Node.js/npm für den visuellen MCP Inspector

Installieren und ausführen

git clone https://github.com/Zoya-Ammar/ai-agent-release-assurance-mcp.git
cd ai-agent-release-assurance-mcp
uv sync --extra dev
uv run python -m banking_qa_mcp.seed
uv run mcp dev src/banking_qa_mcp/server.py

Der letzte Befehl startet den MCP Inspector.

Öffnen Sie Tools, wählen Sie assess_release_readiness, und geben Sie Folgendes ein:

{
  "release_id": "REL-2026.08.1"
}

Erwartetes Hauptergebnis:

{
  "recommendation": "NO_GO",
  "risk_score": 100,
  "test_pass_rate_percent": 62.5,
  "blockers": [
    "Open SEV1 defect",
    "Failed or blocked critical test",
    "Failed or blocked high-criticality test"
  ]
}

Zum Vergleich: REL-2026.08.2 liefert GO mit einem Risikowert von 100.

Tests ausführen

Führen Sie die vollständige automatisierte Testsuite aus:

uv run pytest -q

Führen Sie die abhängigkeitsfreie Kernverifikation aus:

uv run python scripts/smoke_test.py

Version 0.1 enthält Tests für:

• Release-Empfehlungen mit hohem und niedrigerem Risiko

• Filterung von Testergebnissen

• Grenzen und Priorisierung von Regressionsplänen

• Ungültige Release-Kennungen

Erklärbare Risikobewertung

Der Risikowert ist auf 100 begrenzt:

25 × failed or blocked critical tests
12 × failed or blocked high-criticality tests
35 × open SEV1 defects
18 × open SEV2 defects
 7 × open SEV3 defects
 2 × open SEV4 defects

Ein offener SEV1-Fehler, ein fehlgeschlagener oder blockierter kritischer Test oder ein fehlgeschlagener oder blockierter Test mit hoher Kritikalität wird ebenfalls als expliziter Release-Blocker gemeldet.

Diese Gewichtungen sind eine Demonstrationsrichtlinie – kein allgemeingültiger Standard für Finanzdienstleistungen oder Softwarequalität. In der Produktion würden Schwellenwerte eine Genehmigung, Versionskontrolle, Validierung und regelmäßige Überprüfung durch die zuständigen Risikoverantwortlichen erfordern.

Sicherheitshinweise

Version 0.1 ist in der Anwendungsschicht bewusst schreibgeschützt. Eine Produktionsimplementierung sollte außerdem Folgendes enthalten:

• Authentifizierung und rollenbasierte Autorisierung

• Datenbank- und Diensterollen mit geringsten Rechten

• Eingabe- und Ausgabevalidierung

• Audit-Logs für Tool-Aufrufe und Empfehlungen

• Rate-Limiting und Beobachtbarkeit

• Geheimnisverwaltung und verschlüsselter Transport

• Freigabe durch Menschen für Release-Entscheidungen

• Prompt-Injection-Tests für abgerufene Inhalte

Das optionale Snowflake-Beispiel enthält ein natives Tool zur SQL-Ausführung für Sandbox-Demonstrationszwecke. Es sollte über eine dedizierte schreibgeschützte Rolle eingeschränkt und vor jeder Nicht-Demo-Nutzung weiter eingegrenzt werden.

Roadmap für Version 0.2

Die nächste Version erweitert diese Release-Intelligence-Grundlage zu einem KI-Agenten-Assurance-System.

Geplante Funktionen umfassen:

• Einen originären KI-Agenten-Evaluierungskorpus

• Validierung von Grounding und Zitierungen

• Tests zur Prompt-Injection-Resistenz

• Prüfungen zu Datenschutz und Datenminimierung

• Szenarien für Barrierefreiheit und Negativpfade

• Vergleiche zwischen Baseline und Kandidat

• Erkennung von Regressionen zwischen Agentenversionen

• Playwright-basierte UI- und Barrierefreiheitsausführung

• Snowflake-gestützte Evaluierungsnachweise

• Von Menschen geprüfte KI-Agenten-Release-Empfehlungen

Projektstatus

Dieses Repository ist ein pädagogischer Portfolio-Prototyp. Es ist kein Produktionsbanksystem, kein Compliance-Tool und keine autonome Freigabeinstanz für Releases.

Referenzen

• Offizielles MCP Python SDK

• Snowflake CREATE MCP SERVER-Dokumentation

Lizenz

Dieses Projekt ist unter der MIT-Lizenz verfügbar.