AI QA Agent MCP

Ein MCP-fähiges QA-Automatisierungs-Framework, das mit Playwright und Node.js erstellt wurde und UI- und API-automatisierte Tests über einen Model Context Protocol (MCP)-Server ausführt.

Das Projekt demonstriert, wie traditionelle Testautomatisierung als wiederverwendbare MCP-Tools bereitgestellt werden kann, sodass ein MCP-kompatibler Client Testsuiten auslösen und strukturierte Testergebnisse empfangen kann.

🚀 Funktionen

• Playwright-UI-Automatisierung

• API-Tests mit Playwright

• Page Object Model (POM)

• MCP-Server-Integration

• MCP-Tool-basierte Testausführung

• Strukturierte JSON-Testergebnisse

• Testabdeckung für Login, Inventar und Checkout

• Positive und negative Testszenarien

• Regressionstest-Ausführung

• Umgebungsbasierte Konfiguration

• HTML-Testberichte

• Screenshots bei Fehlern

• GitHub Actions CI/CD

• Automatisierte Ausführung bei Push und Pull Requests

Related MCP server: mcp-playwright-test

🧰 Technologie-Stack

• JavaScript

• Node.js

• Playwright

• Model Context Protocol (MCP)

• MCP Inspector

• Git

• GitHub

• GitHub Actions

🏗️ Architektur

                MCP Client / Inspector
                         |
                         v
                    MCP Server
                  (mcp/server.js)
                         |
                         v
                   run_tests Tool
                         |
             +-----------+-----------+
             |                       |
             v                       v
       Test Tool Layer          Suite Selection
       (tools/*.js)        login / inventory /
                           checkout / api /
                           regression
             |
             v
        testRunner.js
             |
             v
          Playwright
         /          \
        v            v
    UI Tests      API Tests
       |
       v
  Page Objects

📁 Projektstruktur

my-ai-qa-agent/
│
├── .github/
│   └── workflows/
│       └── playwright.yml
│
├── data/
│   ├── customer.js
│   └── users.js
│
├── mcp/
│   └── server.js
│
├── pages/
│   ├── LoginPage.js
│   ├── InventoryPage.js
│   ├── CartPage.js
│   └── CheckoutPage.js
│
├── tests/
│   ├── api/
│   │   └── users.api.spec.js
│   ├── login.spec.js
│   ├── inventory.spec.js
│   └── checkout.spec.js
│
├── tools/
│   ├── testRunner.js
│   ├── runLoginTests.js
│   ├── runInventoryTests.js
│   ├── runCheckoutTests.js
│   ├── runApiTests.js
│   └── runRegressionTests.js
│
├── .env.example
├── .gitignore
├── package.json
├── playwright.config.js
└── README.md

pages/

Enthält wiederverwendbare Page-Object-Model-Klassen, die UI-Locators und Benutzeraktionen kapseln.

tests/

Enthält Playwright-UI- und API-Testspezifikationen.

tools/

Dient als Brücke zwischen MCP-Anfragen und der Playwright-Testausführung. Einzelne Tools wählen Testsuiten aus, während testRunner.js Playwright ausführt und die Ergebnisse zusammenfasst.

mcp/

Enthält den MCP-Server, der QA-Automatisierungsfunktionen als MCP-Tools bereitstellt.

.github/workflows/

Enthält den GitHub-Actions-Workflow, der zur Ausführung der automatisierten Testsuiten in CI verwendet wird.

⚙️ Installation

Repository klonen:

git clone https://github.com/bisminizzar84/ai-qa-agent-mcp
cd ai-qa-agent-mcp

Abhängigkeiten installieren:

npm install

Playwright-Browser installieren:

npx playwright install

Eine lokale .env-Datei basierend auf .env.example erstellen:

BASE_URL=https://www.saucedemo.com

🧪 Tests ausführen

Die vollständige Testsuit ausführen:

npm test

Tests mit sichtbarem Browser ausführen:

npx playwright test --headed

Nur Login-Tests ausführen:

npx playwright test tests/login.spec.js

API-Tests ausführen:

npx playwright test tests/api/users.api.spec.js

Den Playwright-HTML-Bericht öffnen:

npx playwright show-report

🤖 MCP-Integration

Das Projekt stellt QA-Automatisierung über einen MCP-Server bereit.

Den Server über MCP Inspector starten:

npx -y @modelcontextprotocol/inspector@latest node mcp/server.js

Das MCP-Tool run_tests unterstützt mehrere Suiten:

• login

• inventory

• checkout

• api

• regression

Beispielanfrage:

{
  "suite": "api"
}

Beispielantwort:

{
  "suite": "api",
  "status": "passed",
  "total": 1,
  "passed": 1,
  "failed": 0,
  "skipped": 0,
  "durationMs": 1841
}

Die MCP-Ebene wandelt die Testausführung in strukturierte Ergebnisse um, die von MCP-kompatiblen Clients konsumiert werden können.

🔄 CI/CD

GitHub Actions führt die Playwright-Testsuit automatisch aus, wenn Code in main gepusht wird oder wenn ein Pull Request auf main abzielt.

Die Pipeline führt folgende Schritte aus:

1. Repository-Checkout

2. Node.js-Einrichtung

3. Installation der Abhängigkeiten

4. Installation der Playwright-Browser

5. Automatisierte Testausführung

6. Upload des Playwright-Berichts

Dies liefert automatisiertes Regressions-Feedback für jede Codeänderung.

🔮 Zukünftige Erweiterungen

• Anbindung eines LLM an den MCP-Server für Testausführung in natürlicher Sprache

• KI-gestützte Fehleranalyse

• Automatische Fehlerzusammenfassungen

• Testgenerierung aus Anforderungen in natürlicher Sprache

• Zusätzliche API-Abdeckung

• Parallele und Cross-Browser-Ausführung

• Dockerisierte Testausführung

• Benachrichtigungen über Testergebnisse