Faultline

Faultline은 프로덕션 장애를 조사하고, 운영 시스템에서 증거를 수집하며, 예상 근본 원인을 식별하고, 복구를 권장하며, 복구를 검증하도록 설계된 MCP 네이티브 AI 인시던트 대응 시스템입니다.

개요

현대 프로덕션 장애는 종종 엔지니어가 로그, 메트릭, 배포, 소스 코드 및 운영 문서 전반에 걸쳐 신호를 상호 연관시켜야 합니다. Faultline은 AI 에이전트가 표준화된 MCP 도구를 통해 해당 조사를 수행하면서도 관찰 가능하고, 테스트 가능하며, 안전하게 운영할 수 있는 방법을 탐구합니다.

이 프로젝트는 유료 AI API나 클라우드 인프라 없이 실행할 수 있는 로컬 우선 시스템으로 설계되었으며, 확장 가능한 배포로의 명확한 경로를 유지합니다.

Related MCP server: mcp-incident-responder

핵심 목표

• 자율 AI 에이전트를 사용하여 프로덕션 유사 장애를 조사합니다.

• MCP(Model Context Protocol)를 사용하여 운영 기능을 구조화된 도구로 노출합니다.

• 로그, 메트릭, 소스 변경, 배포 및 런북에서 증거를 수집하고 상호 연관시킵니다.

• 근거 없는 답변이 아닌 증거 기반 근본 원인 가설을 생성합니다.

• 파괴적 작업에 대한 검증과 사람의 승인을 통해 통제된 복구를 지원합니다.

• 자동화된 평가와 회귀 테스트를 통해 에이전트 품질을 측정합니다.

• 에이전트 결정, 도구 사용, 지연 시간, 실패 및 결과에 대한 관찰 가능성을 제공합니다.

• 교체 가능한 인프라 구성 요소로 무비용 로컬 개발 및 평가 경로를 유지합니다.

계획된 기능

인시던트 조사

• 인시던트 수집 및 정규화

• 운영 소스 전반의 증거 수집

• 근본 원인 가설 생성

• 증거 기반 진단

• 복구 검증

MCP 도구

• 메트릭 검사

• 로그 검색 및 분석

• Git 기록 및 배포 검사

• 런북 검색

• 인시던트 상태 관리

• 통제된 복구 작업

AI 평가

Faultline은 다음을 측정하기 위한 전용 평가 프레임워크를 포함할 예정입니다:

• 근본 원인 정확도

• 증거 정확성

• 도구 선택 품질

• 도구 사용 효율성

• 진단 완전성

• 복구 정확도

• 에이전트 궤적 품질

평가 결과는 프롬프트, 모델, 검색 전략 및 에이전트 변경 전반에 걸친 회귀 테스트에 사용됩니다.

안정성 및 안전

• 구조화된 도구 입력 및 출력

• 시간 초과 및 재시도

• 오류 처리 및 폴백

• 인증 및 권한 부여

• 감사 로깅

• 고위험 작업에 대한 인간 참여 승인

• 속도 제한 및 통제된 실행

아키텍처 방향

Incident
   |
   v
AI Agent
   |
   v
MCP Tool Layer
   |
   +----------------+----------------+----------------+
   |                |                |
   v                v                v
Metrics           Logs           Git / Deployments
   |                |                |
   +----------------+----------------+
                    |
                    v
             Evidence Engine
                    |
                    v
              Root Cause
                    |
                    v
            Remediation Plan
                    |
             Human Approval
                    |
                    v
            Recovery Verification
                    |
                    v
                  Evals

로컬 우선 설계

초기 구현은 다음과 같은 오픈 소스 구성 요소를 사용하여 로컬에서 실행되도록 설계되었습니다:

• Python

• MCP SDK

• Ollama 및 로컬 호스팅 오픈 모델

• FastAPI

• SQLite 또는 PostgreSQL

• Prometheus

• Loki

• Docker

이 시스템은 모델, 스토리지 및 인프라 구성 요소를 교체 가능하게 유지하여, 동일한 아키텍처가 추후 호스팅 모델, 분산 워커, 관리형 데이터베이스 및 클라우드 관찰 가능성 플랫폼을 지원할 수 있도록 합니다.

프로젝트 상태

Faultline은 초기 아키텍처 및 구현 단계에 있습니다. 첫 번째 마일스톤은 완전한 수직 슬라이스, 즉 재현 가능한 프로덕션 유사 인시던트, MCP 기반 증거 수집, 에이전트 진단 및 결과의 자동화된 평가입니다.

라이선스

라이선스는 추후 추가될 예정입니다.