SAP AI Assistant --- MCP Gateway

Version: 1.0.0
Status: Initiales MVP / Stabil
Plattform: SAP Business Technology Platform (BTP)
Runtime: Cloud Foundry / Node.js

1. Überblick

SAP AI Assistant ist eine KI-gestützte Schnittstelle für die Interaktion mit SAP-BTP-Destinationen und verbundenen OData-Diensten in natürlicher Sprache. Es kombiniert den SAP BTP Destination Service, Model Context Protocol (MCP), OData V2/V4, LangChain, Groq, Node.js, Cloud Foundry und eine browserbasierte Chat-Benutzeroberfläche.

Der Benutzer wählt eine konfigurierte Destination aus und stellt Fragen wie Show me the first 5 products. Der KI-Agent verwendet MCP-Tools, um den ausgewählten OData-Dienst zu ermitteln und abzufragen, und liefert eine Antwort in natürlicher Sprache.

Related MCP server: SAP OData to MCP Server

2. Architektur

                    SAP BTP
                       |
              +--------v--------+
              | Destination     |
              | Service         |
              +--------+--------+
                       |
              +--------v--------+
              | SAP AI Assistant|
              | MCP Gateway     |
              |                 |
              | Destination Mgmt|
              | OData Discovery |
              | OData Query     |
              | MCP Server      |
              | AI Agent        |
              +--------+--------+
                       |
              +--------v--------+
              |    Groq LLM     |
              | llama-3.3-70b   |
              +--------+--------+
                       |
                       v
                  Browser UI

3. Kernfunktionen

• SAP BTP Destination Service Integration

• Dynamische Destination-Auswahl

• Destinationssynchronisierung

• Destinations-Lookup

• MCP-Server und MCP-Client

• OData-Metadatenermittlung

• OData-V2- und V4-Unterstützung

• Natürlichsprachliche OData-Abfragen

• LangChain-Agent mit Tool-Aufrufen

• Groq-LLM-Integration

• Benutzerfreundliche Chat-Antworten

• Cloud-Foundry-Bereitstellung

• Health-Endpunkt

• Info- und Versionsdialoge

4. MCP-Tools

Tool Zweck

list_destinations Listet synchronisierte Destinationen auf

get_destination Ruft Details einer Destination ab

sync_destinations Synchronisiert Destinationen von SAP BTP

discover_odata Ermittelt OData-Metadaten und Entity Sets

query_odata Führt eine OData-Abfrage gegen eine ausgewählte Destination aus

5. Destination-Ablauf

Destinationsnamen sind nicht fest im KI-Agenten codiert. Der Client sendet die ausgewählte Destination zusammen mit der Frage:

{
  "message": "Show me the first 5 products",
  "destination": "NORTHWIND_V4"
}

Das Backend übergibt beide Werte an den Agenten:

UI -> /ai/chat -> askAgent({ question, destination }) -> MCP -> selected destination -> OData service

Dadurch können Destinationen wie S4_PROD, S4_TEST, ARIBA, SUCCESSFACTORS oder kundenspezifische Destinationen verwendet werden, ohne den Agentencode zu ändern.

6. HTTP-Endpunkte

Health

GET /health

Beispielantwort:

{ "status": "UP" }

Destinationen auflisten

GET /destinations

Destinationsverwaltung

GET /destinationsom/destinations

Destination abrufen

GET /destination/:name

OData-Ermittlung

GET /odata/:destination/discover

KI-Chat

POST /ai/chat
Content-Type: application/json

Beispielanfrage:

{
  "message": "Show me the first 5 products",
  "destination": "NORTHWIND_V4"
}

Beispielantwort:

{
  "success": true,
  "question": "Show me the first 5 products",
  "destination": "NORTHWIND_V4",
  "answer": "The first 5 products are..."
}

Die Benutzeroberfläche zeigt die answer an, anstatt rohes MCP/OData-JSON gegenüber normalen Benutzern offenzulegen.

7. KI-Agenten-Ablauf

1. Empfangen Sie die Benutzerfrage und die ausgewählte Destination.

2. Verbinden Sie sich mit dem MCP-Server.

3. Rufen Sie verfügbare MCP-Tools ab.

4. Binden Sie die Tools an das LLM.

5. Erlauben Sie dem LLM, das/die erforderliche(n) Tool(s) auszuwählen.

6. Führen Sie MCP-Tools aus.

7. Geben Sie Tool-Ergebnisse an das LLM zurück.

8. Erzeugen Sie eine natürlichsprachliche Antwort.

Question
   |
   v
  LLM
   |
   +--> discover_odata
   |
   +--> query_odata
   |
   v
Tool Result
   |
   v
  LLM
   |
   v
Final Answer

8. Umgebungsvariablen

GROQ_API_KEY

Wird vom KI-Agenten benötigt. Konfigurieren Sie den Schlüssel in Cloud Foundry, anstatt ihn in die Quellcodeverwaltung zu übertragen:

cf set-env sap-mcp-gateway GROQ_API_KEY "<your-groq-api-key>"
cf restage sap-mcp-gateway

MCP_SERVER_URL

Definiert den MCP-Endpunkt. Lokaler Standardwert:

http://localhost:8080/mcp

Für Cloud Foundry konfigurieren Sie den bereitgestellten MCP-Endpunkt entsprechend.

9. Bereitstellung

cf login -sso
cf target -o <organization> -s <space>
cf push sap-mcp-gateway
cf app sap-mcp-gateway
cf logs sap-mcp-gateway --recent

Konfigurieren Sie den Groq-Schlüssel und stellen Sie die Anwendung erneut bereit:

cf set-env sap-mcp-gateway GROQ_API_KEY "<your-key>"
cf restage sap-mcp-gateway

10. Beispiel-Entwicklungsdestinationen

NORTHWIND_V2

Name:           NORTHWIND_V2
Type:           HTTP
URL:            https://services.odata.org/v2/northwind/northwind.svc/
Proxy Type:     Internet
Authentication: NoAuthentication

NORTHWIND_V4

Name:           NORTHWIND_V4
Type:           HTTP
URL:            https://services.odata.org/v4/northwind/northwind.svc/
Proxy Type:     Internet
Authentication: NoAuthentication

Dies sind Demonstrationsdestinationen. Produktionssysteme sollten geeignete SAP-/Kundendestinationen und Authentifizierung verwenden.

11. Sicherheit

Version 1 konzentriert sich auf die Basis der MCP- und Destinationsintegration. Vor der produktiven Nutzung im Unternehmen sollten Sie Folgendes prüfen oder implementieren:

• XSUAA-Authentifizierung

• Rollenbasierte Zugriffskontrolle

• Autorisierung auf Destinationsebene

• Weitergabe der Benutzeridentität, falls erforderlich

• Sicheres Verwalten von Geheimnissen

• Audit-Protokollierung

• Ratenbegrenzung

• Eingabevalidierung

• Einschränkungen für OData-Abfragen

• Ergebnislimits

• Schutz sensibler Daten

• Produktionsüberwachung

Übertragen Sie API-Schlüssel niemals in Git.

12. Bekannte Einschränkungen von v1

KI-Token-Verbrauch

Der aktuelle Agent kann mehrere LLM-/Tool-Iterationen durchführen und dabei Metadaten und Tool-Ergebnisse im Gespräch ansammeln. Große Metadatenantworten können daher den Token-Verbrauch erhöhen.

Agenten-Routing

Die aktuelle Implementierung überlässt es dem LLM, zu entscheiden, welche MCP-Tools aufgerufen werden. Zukünftige Versionen können deterministisches Routing für häufige Operationen hinzufügen, um unnötige Aufrufe zu reduzieren.

Authentifizierung

Unternehmensauthentifizierung und -autorisierung sind für eine spätere Phase geplant.

13. Umfang von Version 1.0

In v1.0 enthalten:

• Cloud-Foundry-Bereitstellung

• Health-Endpunkt

• Integration des Destination Service

• Destinationssynchronisierung

• Dynamische Destination-Auswahl

• MCP-Server

• MCP-Client

• Erkennung von MCP-Tools

• Destination-Tools

• OData-Ermittlung

• OData-V2-Unterstützung

• OData-V4-Unterstützung

• OData-Abfragen

• Groq-Integration

• LangChain-Agent

• KI-Chat-Endpunkt

• Natürlichsprachliche Benutzeroberfläche

• Benutzerfreundliche Darstellung von Antworten

• Info-Dialog

• Versionsdialog

• Erste technische Dokumentation

14. Roadmap

v1.1 --- KI-Optimierung

• Reduzierung unnötiger LLM-Iterationen

• Reduzierung der an das LLM gesendeten Metadaten

• Begrenzung von Abfrageergebnissen

• Optimierung der Verarbeitung von Tool-Ergebnissen

• Verbesserung der Fehlerwiederherstellung und Latenz

• Hinzufügen von deterministischem Routing, wo angemessen

v1.2 --- Sicherheit

• XSUAA

• Benutzerauthentifizierung

• RBAC

• Destinationsautorisierung

• Identitätsweitergabe

• Audit-Protokollierung

v1.3 --- Enterprise-OData

• $select

• $filter

• $orderby

• $expand

• $top

• $skip

• Paginierung

• Zusammenfassung von Ergebnissen

v2.0 --- SAP Enterprise MCP Platform

Mögliche Integrationen umfassen S/4HANA, SuccessFactors, Ariba, SAP HANA Cloud, Integration Suite, SAP Build Process Automation und SAP-AI-Funktionen.

15. Architekturprinzipien

Destinationsunabhängig

Kundenspezifische Destinationsnamen sollten nicht in Anwendungslogik eingebettet sein.

Toolgesteuert

Der KI-Agent interagiert über MCP-Tools mit SAP-Systemen.

Konfiguration statt Code

Umgebungsspezifische Destinationen und Anmeldeinformationen bleiben außerhalb des Anwendungsquellcodes.

Benutzerfreundliche Ausgabe

Rohes API- und MCP-JSON sollte normalen Benutzern nicht offengelegt werden.

Erweiterbar

Neue MCP-Tools sollten hinzugefügt werden können, ohne die gesamte Anwendung neu zu entwerfen.

16. Release-Informationen

Projekt: SAP AI Assistant / MCP Gateway
Version: 1.0.0
Status: Initiales MVP / Stabil
Plattform: SAP BTP
Runtime: Node.js / Cloud Foundry