Skip to main content
Glama
HanbeenMoon

agent-failure-archive

by HanbeenMoon

Below is the superior translation output.

Agent Failure Archive

8ヶ月間、本番でマルチセッションAIエージェントシステムを運用して得た、186件のポストモーテム集。 x402による従量課金。登録不要、APIキー不要、サブスクリプション不要。

公開中: https://desktop-ai2ata5-1.tailfeb765.ts.net いますぐ無料で試す: /sample

公開リポジトリは、動いたコードを見せてくれる。これはその裏側だ。正しく見えて、レビューを通過し、数週間走り続け、その間ずっと壊れていた配線記録である。


なぜこれがあるのか

エージェントシステムで高くつく障害は、派手なとではない。クラッシュは1時間で直る。高くつくのは、静かなやつだ。誰も利用しないシグナルに接続された修復ルーチン、セッション期限切れ後も0で終了し続けるウォッチャー、システムが正常でも故障でも同じ出力を返す検出器など。

そうした障害が書き残すことは滅多にない。なぜなら、それを記録するには、十分に長期間動かして被害を被り、記録を残してれた。

はという現実的なものだ。

実例(adr-184 という実際の):

ブロードキャスト呼び出しのエラーで内部エラーが発生した。呼び出し元はそのエラーを認識した。だが、受信側5セッションは常に確認応答だけを待っていたため、何も変わらないまま永久にリトライさせられた。ハートビートを書き込む7セッションが止まらず、リトライストームが加わり、データベースはロック競合に陥って崩壊した。

根本原因: 障害は送信者には見えるが、受信者には見えないというものである。ブロードキャストのバグ自体ではなく、エラー可視性の非対称性こそが問題だった。

186件中、174件定量的な証拠(所要時間、回数、レート)で、155件は症状だけでなく根本原因を特定している。


Related MCP server: FastMCP Runtime MCP

測定の半分

このシステムは8は、単一の人間の言語が一般的な言語からどれほど離れているものを、その人物をひとつのスコアに押し込まずに測定できるか、という一点に向いた。

それは大半が失敗し、その失敗の事実は目標そのものよりも興味深かった。186件のうち107件の測定障害である: 信号の存在・不在にかかわらず同じ出力を返した検出器、同じパラメータが2つの異なる治療になることが判明した量反応の群、一度も実行されていない陽性対照、ファイル数より2.3倍も少なかったコーパス、自分自身を質量測り続けてその値を参照結果として報告した測定器など。

これらが/researchの背景にあるケースだ。人のスタイルやパーソナリティ、作者特定、プロファイル適合性などを「測定」をしようとするなら、このカセットはその評価を壊れ方についてのカタログだ。


エンドポイント

ルート

価格

得られるもの

GET /

無料

サービスメタデータ

GET /sample

無料

完全なケース2件、支払い不要

GET /contents

無料

全ケースのタイトル。?theme=でフィルタ可能

GET /audit?claim=<conclusion>&evidence=<what you measured>

$0.02

自分自身をだますための9つのチェックを、自分の主張に適用

GET /search?q=<symptom>

$0.01

3件のケース: 症状、根本原因、修正、防止、エビデンス

GET /brief?action=<action> $0.05

5ケースを踏まえた実施前リスクブリーフ+チェックリスト

GET /research?q=<topic> $0.25

上記、107件の測定つぶれ例

GET /archive $1.00

全ケース、一括返る、一回の支払

支払い: Base上のUSDC (eip155:8453)、キーレスファシリッタ経由で処理。x402対応クライアントならどれでも動作し、ブラウザは生のJSONではなくウォレット接続のペイウォールを表示。

# free, no wallet needed
curl https://desktop-ai2ata5-1.tailfeb765.ts.net/sample

# paid, via any x402-capable client
curl https://desktop-ai2ata5-1.tailfeb765.ts.net/search?q=silent+failure+cron

/auditは自分で「we found that(我々はこうなった)」と書きる前に先に行き当たる地。

あなたの結論と実際に測定した内容を渡すと、その主張がひかかるチェックを返す: 陽性対照のない帰無結果、同じパラメータだが同じ治療とは言えない治療腕、同じ部を何度も数える分母、何もしなかったのに終了0になったプロセス、キャッシュされたビューをまるで現在の状態であった存在で考える読み方。9つのチェックは、全部ここで実際にを引き起こした失敗だ。そのとき測定した数字とともに。

これは決定論的だ。モデルは使わないので、同じ入力は常に同じ監査を返し、数ミリ秒で応答し、間違えた場合も理由が正確に見える。クリーンパスは「あなたの主張が正しい」証明ではない。それは、これら9つ既知のだしかたを考慮したと認識したことを意味する。

きれいな主張ではなく、段落を貼ろう。 /precheckと/auditの両方がclaim=の代わりにtext=を受け付ける。調布数の抜けた塊を渡すと、それらのテキスト主張する文を抜き出し、それぞれ個別にチェックする:

curl -sG https://desktop-ai2ata5-1.tailfeb765.ts.net/precheck \
  --data-urlencode "text=We ran the new ranker on 40 sampled queries and found no significant
difference. The watcher is healthy: it exits 0 every run. Our corpus contains 4279 documents,
2x the previous release."

は3つの主張を返すが、それぞれ一因が違う: ヌル結果に陽性対照がなく、正常なウォッチャーが何も変わらないのに同じ見えるし、コーパス数が再ダンプされたスナップショットを数えている可能性がある。文選択も決定論的で、モデルではなく同じチェック表によって駆動される。したがって、主張を含まない散文は、空のまま戻ってくる。こじつけの所見を発明しない。

/briefは、元戻せないことをする前に手を伸ばすべきもの:行動を平文で説明するたびに、そのタイプの行動が実際にどう失敗したか、そしてそれぞれのインシデントが生きた防止/予防の手を提供する。

/contentsは棚だ。2つの標ケースでは丸ごとのコーパスが1ドルの価値があるかの判断はできない。だから、これ全182件のタイトルを返す。各タイトルには、それが示す9つの罠のどれかをタグ付けされていて、それ以外は何もない。現在の分布: 108件がキャッシュを状態として見ることを含み、83件が同じ単位を2回数えるを含み、71件が呼び出しを内蔵していない何かを含み、36件が何もせずに終了0になったをれる。タイトルのみ、本文はなし、支払いの必要ありません。

/archiveは、コーパス全体がスライスされたものよりも完全な形で価値があるから存在する。一度の支払いで取引は終了。あとからキャンセルできるものはない。


MCPサーバーとして使う

mcp_server.pyは、インターネット全体を、Claude Desktop、Cursor、その他MCP互換エージェントのツールとして公開する。無料ツールはウォレットも設定も不要。

pip install "mcp[cli]" requests            # free tools only
pip install "x402[mcp]" eth-account        # add this for the paid tools
{
  "mcpServers": {
    "agent-failure-archive": {
      "command": "python3",
      "args": ["/absolute/path/to/mcp_server.py"],
      "env": { "X402_PRIVATE_KEY": "0x..." }
    }
  }
}

ツール

ウォレット必要

機能

precheck

no

あなたの結論が9つのチェックのうち何に引っかかる

sample

no

完全なポストモーテム2件

service_info

no

説明/内容と価格

audit

yes

完全な監査、$0.02

search

yes

一致する障害件3件、$0.01

brief

yes

事前リスクブリーフ、$0.05

research

yes

107件の測定失敗、$0.25

archive

yes

すべて、$1.00

X402_PRIVATE_KEYはあなたのウォレットだ。それはあなたのマシンに残り、支払い認証をローカルで署名するために使われる。どこにも送信されことはなく、このサーバがログをとることもない。無料ツールだけが必要なら、envブロックを完全に削除してよい。

キーがない場合、有料ツールは静かに失敗しない。理由、支払いテスト、対応する無料の同等機能へのポインタを返す。

mcp 2.1.0と1.xのFastMCPレイアウトでテスト済み: 7つのツールがリストアップ、precheckはウォレットなしで応答、auditは理由とともに見劣りする状態で応答。


ここにないもの

  • 個人データは一切なし。人やビジネス関係、金銭の金額が書かれた元ドキュメントは、全文除外であり、ラインごとの一部削除はしない。

  • 運用者の発話はなし。コーパス内は各インシデントの構造だけがありて、発言者の声を載せない。

  • ウォレットアドレス、ホームのパス、IPアドレス、メール、APIキー、セッション識別子は、ドキュメントが採用される前にマスクされる。

このフィルタは毎ビルドで植えつけられたプローブ文字列に対してテストされる; 検出器がキャッチできなければ構築は中止。現在の状態: 186件中0件のリーク、陽性対照は成功。


市場に関する測定のメモ

1ドルの価値のこれを売ってみる間の、x402の発見や収益の実際の挙動と、いくつか広く信じられた仮定が誤っていたこと測った。詳細を、細かい認証なしの呼び出して「信頼するのでなく確認」できる形で書、MARKET.mdに。

簡単に言うと: 最頻価格は0.1セント〜3セントだが、25万ドルで$0.85/コールを提供している売り手もいる。; トップ10の買い手の8はちょうどひとりの売り手だけを払っているので、その見出しボリュームはマーケットプレイスではなく、垂直統合。誰もがあなたのサービスを発見するだろうと思い込んでいるディレクトリのチャットは5月から使われていない、ファシリテータのディレクトリの参加には、完了した売りではなく、観察された支払いの試みが必要、という発見。


正直な限界

  • これは一つのオペレータのシステムだ。先行技術であって、保証ではない。そして、エージェントシステム一般的の統計的サンプではない。

  • カバレッジは、そのシステムが多用する範囲に偏っている: マルチセッションの調整、フックやcronの配線、検索パイプライン、プロセス間通信、スケジュール修理、上記の測定タスク。

  • いくつかのエントリーでは、修正で後で誤りと判明した失敗を記録している。修正を含めて保持している、修正が通常、より有用な部分だから。

  • まだ何も売れていない。 執筆時点では、受信アドレスにはちょうど$0.00が入っている。この数字はサーバログではなくチェーン上で確認され、変化があったらこの行のは、更新される。


自分で実行

pip install -r requirements.txt
X402_PAY_TO=0xYourAddress uvicorn server:app --port 8402

X402_PAY_TOがない場合、有料ルートは、ボディに理由を書いた503を返す。これは黙って失敗ではない。これはケース adr-546をこのサービス自身に適用したものだ。

Related MCP Connectors

Related MCP Servers

  • F
    license
    Not graded
    quality
    D
    maintenance
    Paid remote MCP server for monitoring AI agent runs, detecting failures, replaying tool-call incidents, issuing SLA receipts, and exporting client status.
    -
  • F
    license
    Not graded
    quality
    D
    maintenance
    Paid remote MCP endpoint for AI SDK data queries, offering structured JSON tools, token-based access, usage receipts, and audit-ready workflow evidence.
    -
  • A
    license
    Not graded
    quality
    B
    maintenance
    Enables coding and research agents to run paid, cited deep research on AI infrastructure, MCP, and security topics via remote MCP tools, with query-tied excerpt packs and uncited or failed calls billed at $0.
    MIT