Kryve Agent Evaluation MCP

Un serveur MCP local et open source pour concevoir des tests d’agents IA, noter une exécution et documenter les preuves avant d’accorder davantage d’autonomie.

Il expose trois outils en lecture seule :

• generate_test_plan : construit des cas nominaux, ambigus et sensibles selon le niveau de risque ;

• score_agent_run : calcule une auto-évaluation provisoire du résultat, des preuves déclarées, des validations et du coût des corrections ;

• evaluation_scorecard : renvoie les colonnes d’une scorecard réutilisable.

Installation

npm install
npm run build

Puis lance le serveur sur stdio :

npm start

Configuration d’un client MCP :

{
  "mcpServers": {
    "kryve-agent-eval": {
      "command": "node",
      "args": ["/chemin/vers/kryve-agent-eval-mcp/dist/src/index.js"]
    }
  }
}

Related MCP server: llamator-mcp-server

Tester avec MCP Inspector

npx @modelcontextprotocol/inspector node dist/src/index.js

Philosophie

Une démo réussie ne prouve pas qu’un agent est fiable. Le test doit mesurer un résultat attendu, conserver des preuves, détecter les actions hors permission et rendre visible le coût des corrections humaines.

Pour comprendre le protocole et choisir une infrastructure :

• MCP Servers : 8 serveurs MCP indispensables

• Évaluer un agent IA avant de lui donner plus d’autonomie

• Tracer les décisions et accès sensibles d’un agent IA

Le kit CSV complémentaire est disponible dans le dépôt Kryve Agent Evaluation Kit.

Limites

Le score est une grille opérationnelle simple, pas une certification. Les champs sont déclarés par l’appelant : chaque résultat porte donc le statut unverified_self_report, n’est jamais éligible à une décision d’autonomie et doit être recoupé avec des preuves indépendantes.

La similarité textuelle sert uniquement d’indicateur provisoire. Elle ne remplace ni des critères structurés, ni un journal d’actions, ni une validation humaine vérifiable.

Licence

MIT — Kryve Solutions.