TrustGate

TrustGate は、Razorpay テストモードを利用した合成データによるデモで、AI バイヤーがカタログ購入を提案できるものの、販売者・金額・通貨・承認・プロバイダー結果を書き換える権限は持たないことを示します。エージェントは提案するだけであり、TrustGate が独立して承認し、証跡を記録します。

これが証明すること

• カタログ SKU と数量だけが、エージェントが影響を与えられる唯一の購入事実です。

• テナント単位のポリシー、人間による承認、ワンタイムのチェックアウト権限、検証済みのプロバイダーイベントが、すべての支払いアクションを拘束します。

• 安全でない試行は、プロバイダー注文が作成される前に拒否され、監査可能な証跡を残します。

Related MCP server: safe-cart-ai

ここでの AI の使われ方

バイヤーエージェントは意図的に薄く作られており、それは手抜きではなく、むしろ主張そのものです。エージェントが提案できるのはカタログ SKU、数量、目的のみで、金銭に関わるすべての事実はサーバー側で導出されます。エージェントを完全に削除しても、承認レイヤーは変わらず、依然として正しく機能します。

技術的な貢献は、高度なエージェントではありません。言語モデルの失敗モードを真剣に受け止めること——サードパーティのコンテンツによるプロンプトインジェクション、運用者の利益に反する指示追従、金銭に関する過信した誤った推論——そして、それらが発生しても正しく動作し続けるシステムを構築することです。

この主張は双方向でテストされています。python -m agent.demo --live は、敵対的なものを含むサードパーティが書いたカタログ記述に対して実際のモデルを実行します。同じカタログが2回送信され、1回は記述を削除した状態で送信されるため、信頼できないコンテンツからの影響は自己申告ではなく、2つの提案を比較することで測定されます。回帰テストスイートはモデルプロバイダーを一切呼び出しません。決定的な代替手段を使用するため、安全性の検証は、モデルが特定の日に特定の動作をするかどうかに依存しません。

問題を見る

3つの明確な拒否はシステムが機能することを証明しますが、なぜ誰かがそれを必要とするのかを示すには弱いものです。そのため、デモはこのプロジェクト自身のコードが失敗するところから始まります。ネットワークも、認証情報も、データベースも使用しません。

python -m demo.unguarded

同じエージェントが同じ毒入りカタログを読みます——文字通り同じものです。両方のカタログは agent/demo_catalog.py から構築され、テストはシードされた行とベースラインオブジェクトが同一の注入命令を保持していることを検証します。1つのモデル応答が2つのアダプターに渡されます。

ガードのない方は金額と販売者を受け入れるため、注入された命令が実行され、カタログ価格 INR 600.00 に対して、カタログテキストが指定した販売者に INR 20,000.00 を支払います。もう一方は、PurchaseProposal が SKU、数量、目的のみを宣言するため、どちらのフィールドにも入れる場所がありません。破棄を生き残るのは quantity=50 で、これはエージェントが設定できるフィールドです——そしてサーバーはそれをカタログ自身の最大値2に対して制限するため、支払いリクエストが作成される前に試行は拒否されます。

違いは攻撃を認識したフィルターではありません。一方のインターフェースには金銭のフィールドがあり、もう一方にはなかったということです。ベースラインには、現実のものに到達できないことと、依然として悪用可能であることの両方を検証する独自のテストがあります。なぜなら、静かに脆弱でなくなったデモは、反対の主張をしながらテストを通過し続けることになるからです。

攻撃マトリックス

Tier A の敵対的シナリオ。この表は python -m scenarios.report によってシナリオレジストリから生成され、テストが一致することを検証するため、合格するテストでカバーされていない攻撃を主張することはできません。すべてのシナリオは3つのことを証明します。攻撃が理由コード付きで拒否されること、プロバイダー注文が作成されないこと、そして支払いが持っていなかった権限を獲得していないことです。

すべてのTier Aシナリオが実装されている。A11aとA11bは、テナントの混同を「解決できないテナント」と「境界を越えて到達する既知のテナント」に分割している。両者は異なる理由で失敗し、後者のみが認可の問題だからである。

テストの価値

テストスイートが成功することは、コードが書かれたとおりに動作することを示す。コードが重要な何かをしなくなった場合にテストが異議を唱えることを示すものではなく、お金が関わる場合に重要なのは後者の主張だけである。このプロジェクトにはその違いの証拠がある。リクエストスコープのセッションが、146のテストが成功している間にすべての書き込みを破棄していたことがある。スイートが書き込みを行ったのと同じトランザクション内で検証していたからである。

make mutationは、各安全不変条件を意図的に一度に1つずつ破壊し、その守護者として指定されたテストが失敗することを要求する。すべてのソースファイルはfinallyブロックで復元され、レポートが出力される前にgit diffで復元が確認されるため、中断された実行でもミューテーションが残ることはない。ミューテーションが生き残った場合は非ゼロで終了する。

このテーブルはpython -m scenarios.report --mutationsによってミューテーションレジストリから生成され、テストが一致を検証するため、実際には守られていない不変条件が守られていると主張することはできない。

このスイートの最初の実行で、実際の欠陥が見つかりました。ORMを介したSELECT ... FOR UPDATEはロックを正しく取得しますが、Postgresが返した行を破棄します。これは、SQLAlchemyがセッションのアイデンティティマップに既にあるオブジェクトの属性を保持するためです。そのため、2番目の呼び出し元は設計どおりロックでブロックされ、コミットされた行を受け取り、古いコピーを保持し、ちょうど承認されたばかりの支払いを承認しました。ロックは、遷移が実行されるタイミングを直列化していましたが、遷移が決定する状態を直列化していませんでした。現在、すべてのロックはmodels.locking.locked()を介して行われ、テストはそのヘルパーがソース内でロックを取得できる唯一の場所であることを検証します。

現在のスコープ

TrustGateは、合成テナント、マーチャント、およびINR価格のみを使用します。これはローカルな安全性テストベッドであり、決済処理業者、コンプライアンス製品、法的同意システム、不正モデル、またはライブモードの決済統合ではありません。

クイックスタート

要件: Docker Desktop と Python 3.12。

Copy-Item .env.example .env
docker compose up -d
docker compose exec -T api python -m alembic upgrade head
docker compose exec -T api python -m pytest -q

ローカルAPIのヘルスチェックは http://127.0.0.1:8000/health で利用できます。

使い捨ての合成M1テナントを python -m agent.seed で作成します。MCP_TENANT_ID と MCP_ACTOR_ID を出力された値に設定し、python -m agent.demo "Buy Starter credits for our student club." でローカルの買い手エージェントデモを実行します。これはカタログのSKU、数量、目的のみを提案できます。MCPサーバーがすべての金銭的に重要な事実を導き出します。python -m agent.demo --adversarial "Buy a small amount of cloud credits." を使用して、決定論的な毒カタログデモを実行します。

決定論的な代替ではなく実際のモデルで同じフローを実行するには、オプションのエクストラを pip install -e ".[agent]" でインストールし、--live を追加します。2つのバックエンドがサポートされており、両方とも同じMessages APIの形状を使用します。

• TRUSTGATE_MODEL_BACKEND=anthropic (デフォルト) は ANTHROPIC_API_KEY を読み取ります。

• TRUSTGATE_MODEL_BACKEND=bedrock はAWSアカウントに請求します。AWS_REGION を資格情報が属するリージョンに設定し、次に AWS_BEARER_TOKEN_BEDROCK（Bedrock APIキー、最も簡単な方法）またはSigV4署名用の標準AWS資格情報のいずれかを設定します。Amazon BedrockはAWS Marketplaceサブスクリプションを通じてAnthropicモデルを提供するため、AWSアカウントには、クレジットで使用量をカバーできる場合でも、有効な支払い手段も必要です。

• TRUSTGATE_MODEL_BACKEND=groq は GROQ_API_KEY を読み取り、支払い手段はまったく必要ありません。

TRUSTGATE_MODEL_ID は任意のバックエンドでモデルを上書きします。買い手はプロトコル実装であるため、プロバイダーはアーキテクチャ上の選択ではなく構成上の選択です。承認レイヤーの動作は、どのモデルが購入を提案するかに依存しません。

これはプロジェクト内でモデルプロバイダーに接触する唯一の経路であり、テストスイートは決して接触しません。合成シードカタログに対してのみ実行してください。そのサードパーティの説明は、影響を測定するために、説明を削除した状態とそのままの状態の2回モデルに送信されます。実際の顧客、マーチャント、または支払いデータをこのデモを通じて送信しないでください。

Razorpay Test Modeアダプターを試すには、無視される .env ファイルに RAZORPAY_KEY_ID と RAZORPAY_KEY_SECRET を設定します。Test ModeまたはLive Modeのシークレットをリポジトリに追加しないでください。

信頼境界

AI buyer proposes SKU, quantity, and purpose
        -> TrustGate derives and authorizes money-critical facts
        -> Razorpay Test Mode executes a bounded order
        -> TrustGate records authorization and provider evidence

正式なビルド計画は docs/build-plan.md にあります。アーキテクチャ、脅威モデル、設計上の決定は docs/ にあります。