Skip to main content
Glama
pipsyncio

PipSync MCP Evals

Official
by pipsyncio

PipSync MCP Evals

Публичные проверки безопасности и MCP-макет без исполнения для проектирования торговых инструментов.

Репозиторий моделирует три границы:

  • список синтетических сигналов только для чтения;

  • детерминированный, неисполняемый предпросмотр бумажной торговли;

  • схема подтверждения с поддержкой live-режима, которую публичный макет всегда блокирует.

Макет не имеет сетевого клиента, загрузчика API-ключей, хранилища учётных данных, брокерского адаптера или реализации размещения заявок.

Запуск проверок

PYTHONPATH=src python -m pipsync_mcp_evals.evals
PYTHONPATH=src python -m unittest discover -s tests -v

Related MCP server: ShadowRun

Запуск stdio-макета

PYTHONPATH=src python -m pipsync_mcp_evals.server

Он принимает одно сообщение JSON-RPC на строку и реализует современный интерфейс MCP 2026-07-28 без сохранения состояния: server/discover, tools/list и tools/call. Каждый запрос должен содержать io.modelcontextprotocol/protocolVersion и io.modelcontextprotocol/clientCapabilities в params._meta; каждый успешный результат содержит resultType и метаданные идентичности сервера. Устаревший initialize отклоняется с явной подсказкой по миграции и поддерживаемой версией протокола.

Что гарантируют проверки

  • Каждый инструмент имеет явные аннотации MCP.

  • Схемы ввода инструментов отклоняют неизвестные поля.

  • Подтверждение классифицируется как не только для чтения и разрушающее.

  • Подтверждение требует поля account, preview, confirmation, idempotency и risk-hash.

  • При отсутствии данных подтверждения запрос завершается отказом по принципу fail-closed.

  • Даже структурно полные подтверждения возвращают mock_server_no_execution.

  • Вывод предпросмотра детерминирован и явно неисполняемый.

  • Отсутствующие метаданные запроса и неподдерживаемые версии протокола завершаются ошибкой в соответствии с текущими контрактами ошибок MCP.

Annotations — это подсказки, а не граница авторизации. Любой реальный сервер с возможностью записи должен независимо обеспечивать: аутентифицированное владение тенантом/аккаунтом, право доступа, актуальное состояние брокера, риск-шлюзы, явный live-режим, идемпотентность, аудит и подтверждение человеком перед каждым вызовом брокера.

Каталог ориентирован на контракт инструментов MCP 2026-07-28 и его контракт обнаружения без сохранения состояния.

Лицензия

Apache-2.0.

Related MCP Connectors

Related MCP Servers

  • A
    license
    B
    quality
    C
    maintenance
    Enables deterministic security testing of AI agents that use tools by serving synthetic MCP environments with poisoned data, fake secrets, and privileged actions. Records agent tool calls and evaluates security invariants (e.g., canary leaks, forbidden access, approval binding) without an LLM judge or real systems.
    8
    MIT
  • A
    license
    Not graded
    quality
    B
    maintenance
    A local-first stdio proxy for MCP servers that traps destructive tool calls and holds them for manual commit or discard, preventing accidental mutations.
    AGPL 3.0
  • A
    license
    A
    quality
    C
    maintenance
    Enables MCP-compatible assistants to research prediction markets on Polymarket and Kalshi, analyze public wallets, read market signals, and run paper-only trading simulations.
    10
    19 npm
    MIT
  • A
    license
    Not graded
    quality
    A
    maintenance
    Provides a safe paper-trading twin of the Binance Agent OS MCP API so agents can be rehearsed, scored, gated for go-live, and shadow-compared against live calls without using real funds.
    MIT