Kryve Agent Evaluation MCP

Un serveur MCP local et open source pour concevoir des tests d’agents IA, noter une exécution et documenter les preuves avant d’accorder davantage d’autonomie.

Il expose trois outils en lecture seule :

• generate_test_plan : construit des cas nominaux, ambigus et sensibles selon le niveau de risque ;

• score_agent_run : note le résultat, les preuves, le respect des validations et le coût des corrections ;

• evaluation_scorecard : renvoie les colonnes d’une scorecard réutilisable.

Installation

npm install
npm run build

Puis lance le serveur sur stdio :

npm start

Configuration d’un client MCP :

{
  "mcpServers": {
    "kryve-agent-eval": {
      "command": "node",
      "args": ["/chemin/vers/kryve-agent-eval-mcp/dist/src/index.js"]
    }
  }
}

Related MCP server: llamator-mcp-server

Tester avec MCP Inspector

npx @modelcontextprotocol/inspector node dist/src/index.js

Philosophie

Une démo réussie ne prouve pas qu’un agent est fiable. Le test doit mesurer un résultat attendu, conserver des preuves, détecter les actions hors permission et rendre visible le coût des corrections humaines.

Pour comprendre le protocole et choisir une infrastructure :

• MCP Servers : 8 serveurs MCP indispensables

• Évaluer un agent IA avant de lui donner plus d’autonomie

• Tracer les décisions et accès sensibles d’un agent IA

Le kit CSV complémentaire est disponible dans le dépôt Kryve Agent Evaluation Kit.

Limites

Le score est une grille opérationnelle simple, pas une certification. Adapte les cas, les seuils et les validations au risque réel de ton organisation.

Licence

MIT — Kryve Solutions.