Click on "Deploy Server".
Wait a few minutes for the server to deploy. Once ready, it will show a "Started" state.
In the chat, type @ followed by the MCP server name and your instructions, e.g., "@Kryve Agent Evaluation MCP Generate a test plan for our customer support agent."
That's it! The server will respond to your query, and you can continue using it as needed.
Here is a step-by-step guide with screenshots.
Un serveur MCP local et open source pour concevoir des tests d’agents IA, noter une exécution et documenter les preuves avant d’accorder davantage d’autonomie.
Il expose trois outils en lecture seule :
generate_test_plan : construit des cas nominaux, ambigus et sensibles selon le niveau de risque ;
score_agent_run : calcule une auto-évaluation provisoire du résultat, des preuves déclarées, des validations et du coût des corrections ;
evaluation_scorecard : renvoie les colonnes d’une scorecard réutilisable.
npm install
npm run buildPuis lance le serveur sur stdio :
npm startConfiguration d’un client MCP :
{
"mcpServers": {
"kryve-agent-eval": {
"command": "node",
"args": ["/chemin/vers/kryve-agent-eval-mcp/dist/src/index.js"]
}
}
}Related MCP server: AgentLens MCP Server
npx @modelcontextprotocol/inspector node dist/src/index.jsUne démo réussie ne prouve pas qu’un agent est fiable. Le test doit mesurer un résultat attendu, conserver des preuves, détecter les actions hors permission et rendre visible le coût des corrections humaines.
Pour comprendre le protocole et choisir une infrastructure :
Le kit CSV complémentaire est disponible dans le dépôt Kryve Agent Evaluation Kit.
Le score est une grille opérationnelle simple, pas une certification. Les champs sont déclarés par l’appelant : chaque résultat porte donc le statut unverified_self_report, n’est jamais éligible à une décision d’autonomie et doit être recoupé avec des preuves indépendantes.
La similarité textuelle sert uniquement d’indicateur provisoire. Elle ne remplace ni des critères structurés, ni un journal d’actions, ni une validation humaine vérifiable.
MIT — Kryve Solutions.
Return a reusable scorecard structure for documenting AI-agent tests.
Inputs: no named parameters.
Generate practical test cases and success criteria for an AI-agent use case.
Inputs: risk (required), useCase (required), tools.
Create an unverified self-assessment of outcome, evidence, control and correction cost. Never use it alone to grant autonomy.
Inputs: task (required), actualOutcome (required), expectedOutcome (required), evidenceProvided (required), +4 more.
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
Scored across 3 tools
Each tool addresses a distinct phase of evaluation: generating test plans, scoring an agent run, and retrieving a scorecard structure. There is no functional overlap or ambiguity between them.
Two tools follow a clear verb_noun pattern (generate_test_plan, score_agent_run), but evaluation_scorecard is noun-led rather than verb-led. The inconsistency is minor and all names remain readable and predictable.
Three tools is an appropriate, focused scope for an evaluation-oriented MCP server. Each tool serves a core need without bloat, making the surface easy to navigate.
The set covers planning, assessment, and structure retrieval, but lacks an explicit verification or finalization tool. The 'unverified' caveat on score_agent_run hints at this gap, but the core workflow is still functional.
Run AI evaluations, record agent traces and gate releases on evidence, with scoped org access.
Run AI agent evaluations on your own model keys, and publish runs others can review and re-run.
Test the voice agents you run: scored transcripts, pass/fail verdicts, latency and WER metrics.
LLM evaluation: compare models on cost and quality, score outputs, run benchmarks, analyse agents.
