🚀 MCP RAG Agent – KI-gestütztes API-Test-Framework

📌 Übersicht

Der MCP RAG Agent ist ein KI-gesteuertes modulares Test-Framework, das Folgendes kombiniert:

• 🔎 RAG (Retrieval Augmented Generation) – Wissensbasierter Kontextabruf

• ⚙️ MCP-Layer (Tool-Ausführungs-Engine) – Führt Tools dynamisch aus

• 🧪 API-Test-Agent – Automatisiert API-Validierungen wie Postman

Es ermöglicht natürliche Sprache → API-Ausführung → Validierung → intelligente Antwortgenerierung.

🧠 Systemarchitektur

graph TD
A[User Query] --> B[API Agent - NLP Parser]
B --> C[MCP Server - Tool Router]
C --> D[RAG Engine - Knowledge Retrieval]
C --> E[API Execution Tool]
D --> C
E --> F[External API / System]
F --> G[Response Validation Layer]
G --> H[Final AI Response]

Related MCP server: sentinel-mcp

🧩 Erläuterung der Architektur

1️⃣ API-Agent-Layer

• Akzeptiert Eingaben in natürlicher Sprache

• Konvertiert Anfragen in strukturierte API-Testfälle

2️⃣ MCP-Server-Layer

• Zentrale Orchestrierungsschicht

• Leitet Anfragen an die entsprechenden Tools weiter

3️⃣ RAG-Layer

• Ruft kontextbezogenes Wissen aus Dokumenten ab

• Verbessert die API-Validierungslogik

4️⃣ Ausführungs-Layer

• Führt API-Aufrufe aus (GET/POST/PUT/DELETE)

• Erfasst Antwort-Payloads

5️⃣ Validierungs-Layer

• Vergleicht erwartete mit tatsächlichen Antworten

• Gibt strukturierte Testergebnisse zurück

🔁 End-to-End-Ablauf

User Input
   ↓
API Agent (Intent Detection)
   ↓
MCP Server (Tool Selection)
   ↓
RAG (Context Injection)
   ↓
API Execution Engine
   ↓
Response Validation
   ↓
Final Result Output

⚙️ Installationsanleitung

1️⃣ Repository klonen

git clone https://github.com/karthikeyanramu/MCP_RAG_AGENT.git
cd MCP_RAG_AGENT

2️⃣ Virtuelle Umgebung erstellen

python -m venv venv

Aktivieren:

# Windows
venv\Scripts\activate

# Mac/Linux
source venv/bin/activate

3️⃣ Abhängigkeiten installieren

pip install -r requirements.txt

4️⃣ MCP-Server starten

python server/mcp_server.py

Erwartet:

MCP Server running on http://localhost:5000

5️⃣ API-Agent ausführen

python -m qa_agent.api_agent_runner

🧪 Postman-Integration (Unterstützung für manuelle Tests)

Obwohl dieses System KI-gesteuert ist, unterstützt es API-Tests im Postman-Stil.

📌 Beispielanfrage

🔹 Endpunkt

POST http://localhost:5000/execute

🔹 Header

{
  "Content-Type": "application/json",
  "Authorization": "Bearer <token-if-needed>"
}

🔹 Beispiel-Payload

{
  "tool": "api_executor",
  "method": "POST",
  "url": "https://api.example.com/login",
  "headers": {
    "Content-Type": "application/json"
  },
  "body": {
    "username": "test_user",
    "password": "Test@123"
  }
}

📌 Beispielantwort

{
  "status": 200,
  "message": "Login Successful",
  "token": "eyJhbGciOiJIUzI1NiIs...",
  "validation": "PASSED"
}

🔄 CI/CD-Pipeline (QA-Reifegradmodell)

Dieses System kann für automatisierte API-Validierungen in CI/CD-Pipelines integriert werden.

🚀 Pipeline-Ablauf

graph LR
A[Code Push] --> B[CI Trigger - GitHub Actions]
B --> C[Install Dependencies]
C --> D[Run API Tests via MCP Agent]
D --> E[RAG Validation Layer]
E --> F[Test Report Generation]
F --> G[Deploy / Fail Pipeline]

🧪 CI/CD-Vorteile

✔ Automatisierte API-Regressionstests ✔ KI-gestützte Validierung (reduziert manuellen QA-Aufwand) ✔ Frühe Fehlererkennung ✔ Einbindung von Domänenwissen mittels RAG ✔ Skalierbare Testausführung

📌 Beispiel für einen GitHub Actions Workflow

name: MCP API Tests

on: [push]

jobs:
  test:
    runs-on: ubuntu-latest

    steps:
      - uses: actions/checkout@v3

      - name: Setup Python
        uses: actions/setup-python@v4
        with:
          python-version: 3.10

      - name: Install dependencies
        run: pip install -r requirements.txt

      - name: Run MCP API Agent
        run: python -m qa_agent.api_agent_runner

🧰 Verfügbare Tools

📊 Praxisbeispiele

• Automatisierung von Banking-APIs (AML / KYC)

• Tests von Sicherheitenverwaltungssystemen

• Regressionstests für Microservices

• KI-gestützte QA-Automatisierungs-Frameworks

⚠️ Fehlerbehebung

❌ Port-Konflikt

netstat -ano | findstr :5000
taskkill /PID <pid> /F

❌ Modulfehler

pip install -r requirements.txt

🚀 Zukünftige Erweiterungen

• OpenAI / LLM-Integration

• UI-Dashboard für die Testausführung

• Kubernetes-Bereitstellung

• Fortschrittliches Embedding-basiertes RAG

• Automatischer Import von Postman-Collections

👨💻 Zusammenfassung

Dieses Projekt demonstriert:

✔ KI-gestützte API-Tests ✔ MCP-basierte Tool-Orchestrierung ✔ RAG-verbesserte Validierung ✔ Architektur für QA-Automatisierung auf Unternehmensebene