TrustGate

TrustGate는 AI 구매자가 판매자, 금액, 통화, 승인 또는 제공자 결과를 다시 작성할 권한을 얻지 않고 카탈로그 구매를 제안할 수 있는 합성 데이터, Razorpay Test Mode 데모입니다. 에이전트는 제안합니다. TrustGate는 독립적으로 승인하고 증거를 기록합니다.

그것이 증명하는 것

• 카탈로그 SKU와 수량은 에이전트가 영향을 미칠 수 있는 유일한 구매 사실입니다.

• 테넌트 범위 정책, 인간 승인, 일회성 체크아웃 권한, 검증된 제공자 이벤트가 모든 결제 작업을 제한합니다.

• 안전하지 않은 시도는 제공자 주문이 생성되기 전에 거부되고 감사 가능한 추적을 남깁니다.

Related MCP server: safe-cart-ai

여기서 AI가 사용되는 방법

구매자 에이전트는 의도적으로 얇으며, 그것은 지름길이 아니라 논점입니다. 카탈로그 SKU, 수량, 목적만 제안할 수 있으며, 모든 금전적으로 중요한 사실은 서버 측에서 파생됩니다. 에이전트를 완전히 삭제해도 인증 계층은 변경되지 않고 여전히 정확합니다.

엔지니어링 기여는 정교한 에이전트가 아닙니다. 그것은 언어 모델 실패 모드를 진지하게 받아들이는 것입니다 — 제3자 콘텐츠를 통한 프롬프트 주입, 운영자의 이익에 반하는 지시 따르기, 돈에 대한 자신만만한 잘못된 추론 — 그리고 그러한 상황이 발생할 때 올바르게 유지되는 시스템을 구축하는 것입니다.

그 주장은 양방향으로 테스트됩니다. python -m agent.demo --live는 제3자(적대적인 포함)가 작성한 카탈로그 설명에 대해 실제 모델을 실행합니다. 동일한 카탈로그가 두 번 전송되며, 한 번은 설명이 제거된 상태로 전송되어 신뢰할 수 없는 콘텐츠의 영향은 자체 보고가 아닌 두 제안을 비교하여 측정됩니다. 회귀 테스트 스위트는 모델 제공자를 호출하지 않습니다. 결정적 대체물을 사용하므로 안전성 검증은 모델이 특정 날짜에 특정 방식으로 행동하는 것에 의존하지 않습니다.

문제 보기

세 가지 깨끗한 거부는 시스템이 작동함을 증명하지만 왜 누군가 그것을 필요로 하는지 보여주는 데는 약합니다. 따라서 데모는 네트워크, 자격 증명, 데이터베이스 없이 이 프로젝트 자체 코드가 실패하는 것으로 시작합니다:

python -m demo.unguarded

동일한 에이전트가 동일한 오염된 카탈로그를 읽습니다. 문자 그대로 동일합니다. 두 카탈로그 모두 agent/demo_catalog.py에서 빌드되고 테스트는 시드된 행과 기준 객체가 동일한 주입된 지시를 전달한다고 주장하기 때문입니다. 하나의 모델 응답이 두 어댑터에 전달됩니다.

보호되지 않은 어댑터는 금액과 판매자를 수락하므로 주입된 지시가 실행되어 카탈로그 텍스트가 명명한 판매자에게 카탈로그 가격 INR 600.00에 대해 INR 20,000.00을 지불합니다. 다른 어댑터는 PurchaseProposal이 SKU, 수량, 목적만 선언하므로 두 필드를 넣을 곳이 없습니다. 폐기 후 살아남는 것은 quantity=50이며, 이는 에이전트가 설정할 수 있는 필드입니다. 서버는 이를 카탈로그 자체 최대값 2에 대해 제한하므로 결제 요청이 생성되기 전에 시도가 거부됩니다.

차이는 공격을 인식한 필터가 아니라 한 인터페이스에는 돈을 위한 필드가 있었고 다른 인터페이스에는 없었다는 것입니다. 기준선에는 실제로 도달할 수 없다는 것과 여전히 악용 가능하다는 것을 주장하는 자체 테스트가 있습니다. 조용히 취약하지 않게 된 데모는 반대 요점을 만들면서 계속 통과할 것이기 때문입니다.

공격 매트릭스

Tier A 적대적 시나리오. 이 표는 python -m scenarios.report에 의해 시나리오 레지스트리에서 생성되며, 테스트가 일치한다고 주장하므로 통과하는 테스트로 다루지 않는 공격을 주장할 수 없습니다. 모든 시나리오는 세 가지를 증명합니다: 공격이 이유 코드와 함께 거부되고, 제공자 주문이 생성되지 않았으며, 결제가 가지지 못한 권한을 얻지 못했습니다.

모든 Tier A 시나리오가 구현되었습니다. A11a와 A11b는 테넌트 혼동을 해석할 수 없는 테넌트와 경계를 넘어 도달하는 알려진 테넌트로 나눕니다. 두 경우는 서로 다른 이유로 실패하고 두 번째만 인가 문제이기 때문입니다.

테스트의 가치

통과하는 테스트 스위트는 코드가 작성된 대로 동작한다는 것을 말합니다. 코드가 중요한 일을 중단했을 때 테스트가 이의를 제기할 것이라는 것을 말하지 않으며, 금전이 관련된 주제에서는 두 번째 주장만이 중요합니다. 이 프로젝트는 그 차이에 대한 증거를 가지고 있습니다: 요청 범위 세션은 146개의 테스트가 통과하는 동안 모든 쓰기를 폐기한 적이 있었는데, 스위트가 작성한 것과 동일한 트랜잭션 내에서 단언했기 때문입니다.

make mutation은 각 안전 불변식을 의도적으로 하나씩 깨뜨리고, 그 수호자로 명명된 테스트가 실패하도록 요구합니다. 모든 소스 파일은 finally 블록에서 복원되며, 보고서가 출력되기 전에 복원이 git diff로 확인되므로 중단된 실행이 변형을 남길 수 없습니다. 어떤 변형이 살아남으면 0이 아닌 종료 코드로 종료됩니다.

이 표는 python -m scenarios.report --mutations에 의해 변형 레지스트리에서 생성되며, 테스트가 일치함을 단언하므로 실제로 보호되지 않는 보호된 불변식을 주장할 수 없습니다.

이 스위트의 첫 실행에서 실제 결함이 발견되었습니다. ORM을 통한 SELECT ... FOR UPDATE는 잠금을 올바르게 획득한 다음 Postgres가 반환한 행을 버립니다. SQLAlchemy가 세션의 identity map에 이미 있는 객체의 속성을 유지하기 때문입니다. 따라서 두 번째 호출자는 설계된 대로 잠금에서 차단되고, 커밋된 행을 수신하고, 오래된 복사본을 유지한 채 방금 승인된 결제를 승인했습니다. 잠금은 전환이 실행되는 시점을 직렬화했을 뿐, 전환이 결정을 내리는 기준이 된 상태는 직렬화하지 않았습니다. 이제 모든 잠금은 models.locking.locked()를 통해 이루어지며, 테스트는 해당 헬퍼가 소스에서 잠금을 획득할 수 있는 유일한 위치임을 검증합니다.

현재 범위

TrustGate는 합성 테넌트, 가맹점, INR 가격만 사용합니다. 이는 로컬 안전 테스트베드이며, 결제 처리기, 규정 준수 제품, 법적 동의 시스템, 사기 모델 또는 Live Mode 결제 통합이 아닙니다.

빠른 시작

요구 사항: Docker Desktop 및 Python 3.12.

Copy-Item .env.example .env
docker compose up -d
docker compose exec -T api python -m alembic upgrade head
docker compose exec -T api python -m pytest -q

로컬 API 상태 확인은 http://127.0.0.1:8000/health에서 확인할 수 있습니다.

python -m agent.seed로 일회용 합성 M1 테넌트를 생성합니다. MCP_TENANT_ID와 MCP_ACTOR_ID를 출력된 값으로 설정한 다음, python -m agent.demo "Buy Starter credits for our student club."로 로컬 구매자 에이전트 데모를 실행합니다. 이 데모는 카탈로그 SKU, 수량, 목적만 제안할 수 있으며, MCP 서버가 모든 금전적으로 중요한 사실을 도출합니다. 결정론적 오염 카탈로그 데모를 실행하려면 python -m agent.demo --adversarial "Buy a small amount of cloud credits."를 사용하세요.

결정론적 대체 모델 대신 실제 모델로 동일한 흐름을 실행하려면 pip install -e ".[agent]"로 선택적 추가 기능을 설치하고 --live를 추가하세요. 두 가지 백엔드가 지원되며 둘 다 동일한 Messages API 형태를 사용합니다:

• TRUSTGATE_MODEL_BACKEND=anthropic (기본값)은 ANTHROPIC_API_KEY를 읽습니다.

• TRUSTGATE_MODEL_BACKEND=bedrock는 AWS 계정에 청구됩니다. 자격 증명이 속한 리전으로 AWS_REGION을 설정한 다음, AWS_BEARER_TOKEN_BEDROCK(Bedrock API 키, 가장 간단한 방법) 또는 SigV4 서명용 표준 AWS 자격 증명을 설정하세요. Amazon Bedrock은 AWS Marketplace 구독을 통해 Anthropic 모델을 프로비저닝하므로, 크레딧으로 사용량을 충당할 수 있는 경우에도 AWS 계정에 유효한 결제 수단이 필요합니다.

• TRUSTGATE_MODEL_BACKEND=groq는 GROQ_API_KEY를 읽으며 결제 수단이 전혀 필요하지 않습니다.

TRUSTGATE_MODEL_ID는 모든 백엔드에서 모델을 재정의합니다. 구매자는 프로토콜 구현이므로 공급자는 아키텍처 선택이 아닌 구성 선택입니다. 인증 계층의 동작은 어떤 모델이 구매를 제안하는지에 의존하지 않습니다.

이것은 프로젝트에서 모델 공급자와 접촉하는 유일한 경로이며, 테스트 스위트는 절대 접촉하지 않습니다. 합성 시드 카탈로그에 대해서만 실행하세요. 타사 설명은 영향력을 측정하기 위해 설명이 제거된 상태와 그대로인 상태로 두 번 모델에 전송됩니다. 이 데모를 통해 실제 고객, 가맹점 또는 결제 데이터를 절대 전송하지 마세요.

Razorpay Test Mode 어댑터를 사용하려면 무시된 .env 파일에 RAZORPAY_KEY_ID와 RAZORPAY_KEY_SECRET을 설정하세요. Test Mode 또는 Live Mode 비밀을 저장소에 절대 추가하지 마세요.

신뢰 경계

AI buyer proposes SKU, quantity, and purpose
        -> TrustGate derives and authorizes money-critical facts
        -> Razorpay Test Mode executes a bounded order
        -> TrustGate records authorization and provider evidence

공식 빌드 계획은 docs/build-plan.md에 있으며, 아키텍처, 위협 모델 및 설계 결정은 docs/에 있습니다.