Kafka MCP Server

Kafka MCP Server

Ein Message Context Protocol (MCP)-Server, der in Apache Kafka integriert ist, um Veröffentlichungs- und Konsumfunktionen für LLM- und Agentic-Anwendungen bereitzustellen.

Überblick

Dieses Projekt implementiert einen Server, der es KI-Modellen ermöglicht, über eine standardisierte Schnittstelle mit Kafka-Themen zu interagieren. Es unterstützt:

• Veröffentlichen von Nachrichten zu Kafka-Themen
• Nachrichten aus Kafka-Themen nutzen

Voraussetzungen

• Python 3.8+
• Apache Kafka-Instanz
• Python-Abhängigkeiten (siehe Abschnitt „Installation“)

Installation

1. Klonen Sie das Repository:
   git clone <repository-url> cd <repository-directory>
2. Erstellen Sie eine virtuelle Umgebung und aktivieren Sie sie:
   python -m venv venv source venv/bin/activate # On Windows, use: venv\Scripts\activate
3. Installieren Sie die erforderlichen Abhängigkeiten:
   pip install -r requirements.txt
   Wenn keine Datei „requirements.txt“ vorhanden ist, installieren Sie die folgenden Pakete:
   pip install aiokafka python-dotenv pydantic-settings mcp-server

Konfiguration

Erstellen Sie im Projektstammverzeichnis eine .env Datei mit den folgenden Variablen:

Verwendung

Ausführen des Servers

Sie können den Server mit dem bereitgestellten main.py -Skript ausführen:

Verfügbare Transportmöglichkeiten:

• stdio : Standardeingabe/-ausgabe (Standard)
• sse : Vom Server gesendete Ereignisse

Integration mit Claude Desktop

Um diesen Kafka MCP-Server mit Claude Desktop zu verwenden, fügen Sie Ihrer Claude Desktop-Konfigurationsdatei die folgende Konfiguration hinzu:

Ersetzen Sie <PATH TO PROJECTS> durch den absoluten Pfad zu Ihrem Projektverzeichnis.

Projektstruktur

• main.py : Einstiegspunkt für die Anwendung
• kafka.py : Implementierung des Kafka-Konnektors
• server.py : MCP-Serverimplementierung mit Tools für die Kafka-Interaktion
• settings.py : Konfigurationsverwaltung mit Pydantic

Verfügbare Tools

Kafka-Publish

Veröffentlicht Informationen zum konfigurierten Kafka-Thema.

Kafka-Konsum

Informationen aus dem konfigurierten Kafka-Thema nutzen.

• Hinweis: Sobald eine Nachricht aus dem Thema gelesen wurde, kann sie mit derselben Gruppen-ID nicht erneut gelesen werden.

Thema erstellen

Erstellt ein neues Kafka-Thema mit angegebenen Parametern.

• Optionen :
  • --topic Name des zu erstellenden Themas
  • --partitions Anzahl der zuzuweisenden Partitionen
  • --replication-factor Replikationsfaktor zwischen Brokern
  • --config (optional) Überschreibt die Konfiguration auf Themenebene (z. B. retention.ms=604800000 )

Thema löschen

Löscht ein vorhandenes Kafka-Thema.

• Optionen :
  • --topic Name des zu löschenden Themas
  • --timeout (optional) Wartezeit bis zum Abschluss des Löschvorgangs

Listenthemen

Listet alle Themen im Cluster auf (oder nach Muster gefiltert).

• Optionen :
  • --bootstrap-server Brokeradresse
  • --pattern (optional) Regulärer Ausdruck zum Filtern von Themennamen
  • --exclude-internal (optional) Interne Themen ausschließen (Standard: true)

Themen-Konfiguration

Zeigt die Konfiguration für ein oder mehrere Themen an oder ändert sie.

• Optionen :
  • --describe Aktuelle Konfigurationen für ein Thema anzeigen
  • --alter Konfigurationen ändern (zB --add-config retention.ms=86400000,--delete-config cleanup.policy )
  • --topic Name des Themas

Themen-Metadaten

Ruft Metadaten zu einem Thema oder dem Cluster ab.

• Optionen :
  • --topic (falls angegeben) Ruft Metadaten nur für dieses Thema ab
  • --bootstrap-server Brokeradresse
  • --include-offline (optional) Schließt Broker oder Partitionen ein, die offline sind