Faultline

Faultline ist ein MCP-natives KI-Incident-Response-System, das entwickelt wurde, um Produktionsincidents zu untersuchen, Beweise aus operativen Systemen zu sammeln, wahrscheinliche Grundursachen zu identifizieren, Abhilfemaßnahmen zu empfehlen und die Wiederherstellung zu verifizieren.

Überblick

Moderne Produktionsincidents erfordern oft, dass Ingenieure Signale aus Logs, Metriken, Deployments, Quellcode und operativer Dokumentation korrelieren. Faultline untersucht, wie ein KI-Agent diese Untersuchung über standardisierte MCP-Tools durchführen kann, während er beobachtbar, testbar und sicher zu betreiben bleibt.

Das Projekt ist als Local-First-System konzipiert, das ohne kostenpflichtige KI-APIs oder Cloud-Infrastruktur betrieben werden kann und gleichzeitig einen klaren Weg zu einer skalierbaren Bereitstellung bietet.

Related MCP server: AIOps MCP

Kernziele

• Produktionsähnliche Incidents mithilfe eines autonomen KI-Agenten untersuchen.

• Das Model Context Protocol (MCP) verwenden, um operative Fähigkeiten als strukturierte Tools bereitzustellen.

• Beweise aus Logs, Metriken, Quellcodeänderungen, Deployments und Runbooks sammeln und korrelieren.

• Evidenzgestützte Hypothesen zur Grundursache erstellen, statt unbegründete Antworten zu liefern.

• Kontrollierte Abhilfemaßnahmen mit Validierung und menschlicher Genehmigung für destruktive Aktionen unterstützen.

• Die Agentenqualität durch automatisierte Bewertungen und Regressionstests messen.

• Beobachtbarkeit der Agentenentscheidungen, Tool-Nutzung, Latenz, Fehler und Ergebnisse bieten.

• Einen kostenlosen lokalen Entwicklungs- und Bewertungspfad mit austauschbaren Infrastrukturkomponenten aufrechterhalten.

Geplante Funktionen

Incident-Untersuchung

• Incident-Aufnahme und -Normalisierung

• Beweissammlung über operative Quellen hinweg

• Generierung von Hypothesen zur Grundursache

• Evidenzbasierte Diagnose

• Wiederherstellungsverifizierung

MCP-Tooling

• Metriken-Inspektion

• Log-Suche und -Analyse

• Git-Verlauf und Bereitstellungsinspektion

• Runbook-Abruf

• Incident-Zustandsverwaltung

• Kontrollierte Abhilfemaßnahmen

KI-Bewertung

Faultline wird ein dediziertes Bewertungsframework zur Messung der folgenden Aspekte enthalten:

• Genauigkeit der Grundursachenbestimmung

• Korrektheit der Beweise

• Qualität der Tool-Auswahl

• Effizienz der Tool-Nutzung

• Vollständigkeit der Diagnose

• Genauigkeit der Abhilfemaßnahmen

• Qualität der Agenten-Trajektorie

Die Bewertungsergebnisse werden für Regressionstests über Prompts, Modelle, Retrieval-Strategien und Agentenänderungen hinweg verwendet.

Zuverlässigkeit und Sicherheit

• Strukturierte Tool-Eingaben und -Ausgaben

• Timeouts und Wiederholungen

• Fehlerbehandlung und Ausweichmechanismen

• Authentifizierung und Autorisierung

• Audit-Logging

• Human-in-the-Loop-Genehmigung für risikoreiche Aktionen

• Ratenbegrenzung und kontrollierte Ausführung

Architekturausrichtung

Incident
   |
   v
AI Agent
   |
   v
MCP Tool Layer
   |
   +----------------+----------------+----------------+
   |                |                |
   v                v                v
Metrics           Logs           Git / Deployments
   |                |                |
   +----------------+----------------+
                    |
                    v
             Evidence Engine
                    |
                    v
              Root Cause
                    |
                    v
            Remediation Plan
                    |
             Human Approval
                    |
                    v
            Recovery Verification
                    |
                    v
                  Evals

Local-First-Design

Die erste Implementierung soll lokal mit Open-Source-Komponenten wie den folgenden laufen:

• Python

• MCP SDK

• Ollama und ein lokal gehostetes offenes Modell

• FastAPI

• SQLite oder PostgreSQL

• Prometheus

• Loki

• Docker

Das System hält Modell-, Speicher- und Infrastrukturkomponenten austauschbar, sodass dieselbe Architektur später gehostete Modelle, verteilte Worker, verwaltete Datenbanken und Cloud-Observability-Plattformen unterstützen kann.

Projektstatus

Faultline befindet sich in der ersten Architektur- und Implementierungsphase. Der erste Meilenstein ist ein vollständiger vertikaler Schnitt: ein reproduzierbarer, produktionsähnlicher Incident, MCP-basierte Beweissammlung, Agentendiagnose und eine automatisierte Bewertung des Ergebnisses.

Lizenz

Lizenz wird noch hinzugefügt.