Faultline

Faultline は、MCP ネイティブの AI インシデント対応システムであり、本番インシデントの調査、運用システムからの証拠収集、推定される根本原因の特定、是正措置の推奨、復旧の検証を目的としています。

概要

現代の本番インシデントでは、エンジニアがログ、メトリクス、デプロイ、ソースコード、運用ドキュメントにわたるシグナルを関連付ける必要があることがよくあります。Faultline は、標準化された MCP ツールを通じて AI エージェントがその調査を実行し、かつ可観測性、テスト可能性、運用の安全性を維持できる方法を探求します。

このプロジェクトは、有料の AI API やクラウドインフラストラクチャなしで実行できるローカルファーストのシステムとして設計されており、スケーラブルなデプロイへの明確な道筋も保持しています。

Related MCP server: AIOps MCP

中核となる目標

• 自律型 AI エージェントを使用して本番に近いインシデントを調査する。

• Model Context Protocol (MCP) を使用して、運用機能を構造化されたツールとして公開する。

• ログ、メトリクス、ソース変更、デプロイ、ランブックから証拠を収集し関連付ける。

• 裏付けのない回答ではなく、証拠に基づいた根本原因の仮説を生成する。

• 破壊的なアクションに対する検証と人間による承認を備えた、管理された是正措置をサポートする。

• 自動評価と回帰テストを通じてエージェントの品質を測定する。

• エージェントの意思決定、ツール使用、レイテンシ、障害、結果に対する可観測性を提供する。

• 交換可能なインフラストラクチャコンポーネントを備えた、ゼロコストのローカル開発および評価パスを維持する。

計画中の機能

インシデント調査

• インシデントの取り込みと正規化

• 運用ソース全体からの証拠収集

• 根本原因仮説の生成

• 証拠に基づく診断

• 復旧の検証

MCP ツール

• メトリクス検査

• ログ検索と分析

• Git 履歴とデプロイの検査

• ランブックの取得

• インシデント状態管理

• 管理された是正アクション

AI 評価

Faultline には、以下を測定するための専用の評価フレームワークが含まれます。

• 根本原因の正確性

• 証拠の正確性

• ツール選択の品質

• ツール使用の効率性

• 診断の完全性

• 是正措置の正確性

• エージェントの軌跡の品質

評価結果は、プロンプト、モデル、検索戦略、エージェントの変更にわたる回帰テストに使用されます。

信頼性と安全性

• 構造化されたツールの入力と出力

• タイムアウトとリトライ

• 障害処理とフォールバック

• 認証と認可

• 監査ログ

• 高リスクアクションに対する人間参加型の承認

• レート制限と管理された実行

アーキテクチャの方向性

Incident
   |
   v
AI Agent
   |
   v
MCP Tool Layer
   |
   +----------------+----------------+----------------+
   |                |                |
   v                v                v
Metrics           Logs           Git / Deployments
   |                |                |
   +----------------+----------------+
                    |
                    v
             Evidence Engine
                    |
                    v
              Root Cause
                    |
                    v
            Remediation Plan
                    |
             Human Approval
                    |
                    v
            Recovery Verification
                    |
                    v
                  Evals

ローカルファースト設計

初期実装は、以下のようなオープンソースコンポーネントを使用してローカルで実行することを目的としています。

• Python

• MCP SDK

• Ollama とローカルホストのオープンモデル

• FastAPI

• SQLite または PostgreSQL

• Prometheus

• Loki

• Docker

このシステムは、モデル、ストレージ、インフラストラクチャコンポーネントを交換可能に保ち、同じアーキテクチャが後でホスト型モデル、分散ワーカー、管理データベース、クラウド可観測性プラットフォームをサポートできるようにします。

プロジェクトの状態

Faultline は初期のアーキテクチャおよび実装段階にあります。最初のマイルストーンは、完全な垂直スライスです。再現可能な本番に近いインシデント、MCP ベースの証拠収集、エージェントによる診断、および結果の自動評価です。

ライセンス

ライセンスは後日追加予定です。