AI Agent Release Assurance MCP

Version 0.1: 合成QAデータを使用したリリースインテリジェンス基盤。
AIエージェント評価機能はVersion 0.2で計画されています。

説明可能なModel Context Protocol（MCP）サーバーです。AIクライアントがソフトウェアのテスト結果と欠陥を分析し、エビデンスに基づいたリリース準備完了（release-readiness）の推奨事項を生成するのに役立ちます。

このリポジトリ内のすべてのリリース、テスト、欠陥、および顧客影響シナリオは架空のものです。雇用主、顧客、本番環境、個人、または規制対象のデータは使用されていません。

このプロジェクトが存在する理由

リリースの判断には、テスト結果、欠陥記録、チーム文書に分散したエビデンスが必要となることがよくあります。

このサーバーは、AIクライアントに以下のような質問に答えるための、小規模で読み取り専用のインターフェースを提供します。

• 特定のリリースを出荷すべきか？

• どの失敗したテストがリリースブロッカーになり得るか？

• 未解決の欠陥リスクはどこに集中しているか？

• 対象を絞った回帰テストでは、どのテストを優先すべきか？

AIはリスクスコアを独自に作り出しません。サーバーはそれを決定論的に計算し、根拠となるエビデンス、重み、ブロッカー、および推奨される次のアクションを人間のレビューのために返します。

Related MCP server: QA-MCP: Test Standardization & Orchestration Server

現在の機能

アーキテクチャ

flowchart TD
    A[AI host or MCP Inspector] -->|MCP request| B[Python MCP server]
    B --> C[QA service and risk rules]
    C --> D[(Synthetic SQLite data)]
    D --> C
    C -->|Structured evidence| B
    B -->|Tool result| A
    D -. optional migration .-> E[(Snowflake)]

SQLiteにより、Version 0.1は再現可能で資格情報なしで動作します。オプションのsnowflake/setup.sqlファイルは、SnowflakeネイティブのMCPパスの可能性を示しています。

クイックスタート

必要条件

• Python 3.10以降

• uv

• ビジュアルMCP Inspector用のNode.js/npm

インストールと実行

git clone https://github.com/Zoya-Ammar/ai-agent-release-assurance-mcp.git
cd ai-agent-release-assurance-mcp
uv sync --extra dev
uv run python -m banking_qa_mcp.seed
uv run mcp dev src/banking_qa_mcp/server.py

最後のコマンドでMCP Inspectorが起動します。

Toolsを開き、assess_release_readinessを選択して、次を入力します：

{
  "release_id": "REL-2026.08.1"
}

期待される主要な結果：

{
  "recommendation": "NO_GO",
  "risk_score": 100,
  "test_pass_rate_percent": 62.5,
  "blockers": [
    "Open SEV1 defect",
    "Failed or blocked critical test",
    "Failed or blocked high-criticality test"
  ]
}

比較として、REL-2026.08.2はリスクスコア7でGOを返します。

テストの実行

完全な自動テストスイートを実行します：

uv run pytest -q

依存関係なしのコア検証を実行します：

uv run python scripts/smoke_test.py

Version 0.1には以下のテストが含まれています：

• 高リスクおよび低リスクのリリース推奨

• テスト結果のフィルタリング

• 回帰テスト計画の制限と優先順位付け

• 無効なリリース識別子

説明可能なリスクスコアリング

スコアは100で上限が設定されています：

25 × failed or blocked critical tests
12 × failed or blocked high-criticality tests
35 × open SEV1 defects
18 × open SEV2 defects
 7 × open SEV3 defects
 2 × open SEV4 defects

未解決のSEV1欠陥、失敗またはブロックされたクリティカルテスト、または失敗またはブロックされた高重要度テストも、明示的なリリースブロッカーとして報告されます。

これらの重みはデモンストレーション用のポリシーであり、金融サービスやソフトウェア品質の普遍的な基準ではありません。本番環境では、しきい値は適切なリスク管理者による承認、バージョン管理、検証、および定期的なレビューが必要になります。

セキュリティに関する考慮事項

Version 0.1は、アプリケーション層で意図的に読み取り専用です。本番実装には以下も含める必要があります：

• 認証とロールベースの認可

• 最小権限のデータベースおよびサービスロール

• 入力および出力の検証

• ツール呼び出しと推奨事項の監査ログ

• レート制限と可観測性

• シークレット管理と暗号化された転送

• リリース判断に対する人間の承認

• 取得コンテンツに対するプロンプトインジェクションのテスト

オプションのSnowflakeの例には、サンドボックスデモンストレーション用のネイティブSQL実行ツールが含まれています。これは専用の読み取り専用ロールで制限し、デモ以外の使用前にはさらに範囲を絞り込む必要があります。

Version 0.2ロードマップ

次のバージョンでは、このリリースインテリジェンス基盤をAIエージェント保証システムに拡張します。

計画されている機能は次のとおりです：

• 独自のAIエージェント評価コーパス

• グラウンディングと引用の検証

• プロンプトインジェクション耐性テスト

• プライバシーとデータ最小化のチェック

• アクセシビリティとネガティブパスシナリオ

• ベースラインと候補の比較

• エージェントバージョン間の回帰検出

• PlaywrightベースのUIおよびアクセシビリティ実行

• Snowflakeをバックエンドにした評価エビデンス

• 人間がレビューするAIエージェントのリリース推奨

プロジェクトの状況

このリポジトリは教育用のポートフォリオプロトタイプです。本番の銀行システム、コンプライアンスツール、または自律的なリリース権限ではありません。

参照

• 公式MCP Python SDK

• Snowflake CREATE MCP SERVER ドキュメント

ライセンス

このプロジェクトはMIT Licenseの下で利用可能です。