Skip to main content
Glama
pipsyncio

PipSync MCP Evals

Official
by pipsyncio

PipSync MCP Evals

Öffentliche Sicherheitsbewertungen und ein nicht ausführender MCP-Mock für handelsorientierte Tool-Designs.

Das Repository modelliert drei Grenzen:

  • schreibgeschützte synthetische Signalliste;

  • eine deterministische, nicht ausführbare Paper-Vorschau;

  • ein live-fähiges Bestätigungsschema, das der öffentliche Mock immer blockiert.

Der Mock besitzt keinen Netzwerk-Client, keinen API-Schlüssel-Loader, keinen Anmeldedatenspeicher, keinen Broker-Adapter und keine Order-Platzierungs-Implementierung.

Die Evaluierungen ausführen

PYTHONPATH=src python -m pipsync_mcp_evals.evals
PYTHONPATH=src python -m unittest discover -s tests -v

Related MCP server: ShadowRun

Den stdio-Mock ausführen

PYTHONPATH=src python -m pipsync_mcp_evals.server

Er akzeptiert eine JSON-RPC-Nachricht pro Zeile und implementiert die moderne, zustandslose MCP-2026-07-28-Oberfläche: server/discover, tools/list und tools/call. Jede Anfrage muss in _meta io.modelcontextprotocol/protocolVersion und io.modelcontextprotocol/clientCapabilities enthalten. Jedes erfolgreiche Ergebnis enthält resultType und Server-Identitätsmetadaten. Der veraltete Aufruf initialize wird mit einem expliziten Migrationshinweis und der unterstützten Protokollversion abgelehnt.

Was die Evaluierungen durchsetzen

  • Jedes Tool hat explizite MCP-Annotationen.

  • Tool-Eingabeschemas lehnen unbekannte Felder ab.

  • Bestätigung ist als nicht schreibgeschützt und destruktiv klassifiziert.

  • Bestätigung erfordert Konto-, Vorschau-, Bestätigungs-, Idempotenz- und Risk-Hash-Felder.

  • Fehlende Bestätigungsdaten führen zu einem Safe-Fail-Close-Verhalten.

  • Selbst strukturell vollständige Bestätigungen geben mock_server_no_execution zurück.

  • Vorschauausgabe ist deterministisch und ausdrücklich nicht ausführbar.

  • Fehlende Anfrage Informationen und nicht unterstützte Protokollversionen scheitern gemäß den aktuellen MCP-Fehlerverträgen.

Annotationen sind nur Hinweise, keine Autorisierungsgrenze. Jeder echte schreibfähige Server muss vor jedem Brokeraufruf unabhängig authentifizierte Mandanten-/Kontozugehörigkeit, Entitlements, aktuellen Brokerzustand, Risiko-Gates, expliziten Live-Modus, Idempotenz, Audit-Compliance und eine menschliche Bestätigung durchsetzen.

Der Katalog ziellt auf den MCP-2026-07-28-Tools-Vertrag und den zustandslosen Discovery-Vertrag.

Lizenz

Apache-2.0.

Related MCP Connectors

Related MCP Servers

  • A
    license
    B
    quality
    C
    maintenance
    Enables deterministic security testing of AI agents that use tools by serving synthetic MCP environments with poisoned data, fake secrets, and privileged actions. Records agent tool calls and evaluates security invariants (e.g., canary leaks, forbidden access, approval binding) without an LLM judge or real systems.
    8
    MIT
  • A
    license
    Not graded
    quality
    B
    maintenance
    A local-first stdio proxy for MCP servers that traps destructive tool calls and holds them for manual commit or discard, preventing accidental mutations.
    AGPL 3.0
  • A
    license
    A
    quality
    C
    maintenance
    Enables MCP-compatible assistants to research prediction markets on Polymarket and Kalshi, analyze public wallets, read market signals, and run paper-only trading simulations.
    10
    19 npm
    MIT
  • A
    license
    Not graded
    quality
    A
    maintenance
    Provides a safe paper-trading twin of the Binance Agent OS MCP API so agents can be rehearsed, scored, gated for go-live, and shadow-compared against live calls without using real funds.
    MIT