AI Agent Release Assurance MCP

Версия 0.1: Фундамент релизной аналитики на основе синтетических данных QA.
Возможности оценки ИИ-агентов запланированы на версию 0.2.

Объяснимый сервер Model Context Protocol (MCP), который помогает ИИ-клиентам анализировать результаты тестирования и дефекты ПО и формировать основанные на фактических данных рекомендации о готовности релиза.

Все релизы, тесты, дефекты и сценарии влияния на клиентов в этом репозитории являются вымышленными. Никакие данные работодателей, клиентов, производственные, персональные или регулируемые данные не используются.

Почему существует этот проект

Решение о выпуске релиза часто требует фактических данных из результатов тестов, записей о дефектах и командной документации.

Этот сервер предоставляет ИИ-клиенту небольшой интерфейс только для чтения, позволяющий отвечать на такие вопросы, как:

• Следует ли выпускать конкретный релиз?

• Какие упавшие тесты могут блокировать релиз?

• Где сосредоточен риск нерешённых дефектов?

• Какие тесты следует приоритизировать при целевом регрессионном тестировании?

ИИ не придумывает оценку риска. Сервер вычисляет её детерминированно и возвращает базовые факты, веса, блокеры и рекомендуемые следующие шаги для проверки человеком.

Related MCP server: QA-MCP: Test Standardization & Orchestration Server

Текущие возможности

Архитектура

flowchart TD
    A[AI host or MCP Inspector] -->|MCP request| B[Python MCP server]
    B --> C[QA service and risk rules]
    C --> D[(Synthetic SQLite data)]
    D --> C
    C -->|Structured evidence| B
    B -->|Tool result| A
    D -. optional migration .-> E[(Snowflake)]

SQLite обеспечивает воспроизводимость версии 0.1 и отсутствие необходимости в учётных данных. Опциональный файл snowflake/setup.sql демонстрирует возможный вариант нативной интеграции MCP в Snowflake.

Быстрый старт

Требования

• Python 3.10 или новее

• uv

• Node.js/npm для визуального MCP Inspector

Установка и запуск

git clone https://github.com/Zoya-Ammar/ai-agent-release-assurance-mcp.git
cd ai-agent-release-assurance-mcp
uv sync --extra dev
uv run python -m banking_qa_mcp.seed
uv run mcp dev src/banking_qa_mcp/server.py

Последняя команда запускает MCP Inspector.

Откройте Инструменты, выберите assess_release_readiness и укажите:

{
  "release_id": "REL-2026.08.1"
}

Ожидаемый главный результат:

{
  "recommendation": "NO_GO",
  "risk_score": 100,
  "test_pass_rate_percent": 62.5,
  "blockers": [
    "Open SEV1 defect",
    "Failed or blocked critical test",
    "Failed or blocked high-criticality test"
  ]
}

Для сравнения, REL-2026.08.2 возвращает GO с оценкой риска 7.

Запуск тестов

Запустите полный автоматизированный набор тестов:

uv run pytest -q

Запустите проверку ядра без зависимостей:

uv run python scripts/smoke_test.py

Версия 0.1 включает тесты для:

• Рекомендаций по релизам с высоким и более низким уровнем риска

• Фильтрации результатов тестов

• Лимитов и приоритизации плана регрессионного тестирования

• Некорректных идентификаторов релизов

Объяснимая оценка риска

Оценка ограничена значением 100:

25 × failed or blocked critical tests
12 × failed or blocked high-criticality tests
35 × open SEV1 defects
18 × open SEV2 defects
 7 × open SEV3 defects
 2 × open SEV4 defects

Открытый дефект SEV1, упавший или заблокированный критический тест либо упавший или заблокированный тест высокой критичности также указывается как явный блокер релиза.

Эти веса являются демонстрационной политикой — а не универсальным стандартом финансовых услуг или качества ПО. В производственной среде пороговые значения потребовали бы утверждения, контроля версий, валидации и периодического пересмотра соответствующими владельцами рисков.

Вопросы безопасности

Версия 0.1 намеренно доступна только для чтения на уровне приложения. Производственная реализация также должна включать:

• Аутентификацию и авторизацию на основе ролей

• Роли базы данных и сервисов с минимальными привилегиями

• Валидацию входных и выходных данных

• Журналы аудита для вызовов инструментов и рекомендаций

• Ограничение частоты запросов и наблюдаемость

• Управление секретами и шифрованный транспорт

• Утверждение решений о релизе человеком

• Тестирование извлекаемого контента на промпт-инъекции

Опциональный пример Snowflake включает нативный инструмент выполнения SQL для демонстрации в песочнице. Его следует ограничить выделенной ролью только для чтения и дополнительно сузить перед любым использованием, не связанным с демонстрацией.

Дорожная карта версии 0.2

Следующая версия расширит эту основу релизной аналитики до системы обеспечения качества ИИ-агентов.

Запланированные возможности включают:

• Оригинальный корпус для оценки ИИ-агентов

• Проверку привязки к источникам и цитирования

• Тестирование устойчивости к промпт-инъекциям

• Проверки конфиденциальности и минимизации данных

• Сценарии доступности и негативных путей

• Сравнение базовой версии с кандидатной

• Обнаружение регрессий между версиями агентов

• Выполнение UI-тестов и тестов доступности на основе Playwright

• Данные оценки на базе Snowflake

• Рекомендации по выпуску ИИ-агентов, проверенные человеком

Статус проекта

Этот репозиторий — учебный прототип для портфолио. Он не является производственной банковской системой, инструментом комплаенса или автономным органом принятия решений о выпуске релизов.

Ссылки

• Официальный MCP Python SDK

• Документация Snowflake по CREATE MCP SERVER

Лицензия

Этот проект доступен под лицензией MIT.