Agent Reliability — servidor MCP

Pruebas, evaluación comparativa y auditoría de agentes de IA autónomos — métodos, entornos de prueba, evidencia

Un servidor MCP remoto sobre un grafo de conocimiento curado. Cada afirmación que devuelve está vinculada a una fuente registrada: las herramientas entregan afirmaciones con sus citas y un valor de confianza, para que un agente pueda mostrar su trabajo en lugar de afirmar sin más.

Nada que instalar. Es un endpoint streamable-HTTP alojado:

https://agentreliability.dev/mcp

Añádelo a un cliente

Claude Code

claude mcp add --transport http agent-reliability https://agentreliability.dev/mcp

Claude Desktop / cualquier cliente que lea mcpServers

{
  "mcpServers": {
    "agent-reliability": {
      "type": "streamable-http",
      "url": "https://agentreliability.dev/mcp"
    }
  }
}

Sin clave de API, sin cuenta, sin autenticación. Solo lectura.

Comprueba que responde, sin ningún cliente en absoluto:

curl -s https://agentreliability.dev/mcp \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json, text/event-stream' \
  -H 'mcp-protocol-version: 2025-06-18' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

Related MCP server: knowledgelib-mcp

Herramientas

Ocho, cada una con un outputSchema, todas devuelven structuredContent.

El flujo previsto es get_overview → search o answer → get_entity → get_related. get_overview existe porque un agente que acaba de llegar necesita saber si este corpus puede ayudar antes de gastar una llamada adivinando.

Qué contiene el corpus

Temática: evaluaciones y benchmarks (GAIA, AgentBench, Inspect), LLM como juez y sus modos de fallo, Goodhart y contaminación de benchmarks, inyección de fallos y pruebas de caos, compuertas de aprobación y niveles de autonomía, anclaje y fidelidad.

Preguntas para las que está diseñado

• ¿Cómo distingo una evaluación real de un benchmark que mi agente ha memorizado?

• ¿Qué significa la calibración para un juez LLM y cómo se mide?

• ¿Qué modos de fallo detecta realmente la inyección de fallos?

Qué aspecto tiene una respuesta real

Una llamada real al endpoint en vivo — answer con "how do I tell a real eval from benchmark contamination" — devuelve este structuredContent, recortado:

{
  "answered": true,
  "entity": {
    "id": "agent-reliability-glossary",
    "name": "Agent reliability glossary",
    "evidence_tier": "secondary",
    "confidence": 0.85,
    "last_verified": "2026-08-08",
    "canonical_url": "https://agentreliability.dev/k/agent-reliability-glossary"
  },
  "claims": [
    {
      "text": "An eval is a structured, repeatable test that measures an LLM or LLM-based system against a defined dimension; frameworks package evals as registries of reusable templates.",
      "sources": [{ "title": "openai/evals — framework for evaluating LLMs and LLM systems" }]
    }
  ]
}

Observa lo que viaja con la respuesta: el nivel de evidencia, una confianza, la fecha de última verificación y la fuente detrás de la afirmación — no como prosa que el agente tenga que interpretar, sino como campos sobre los que puede actuar. Un agente puede rechazar una afirmación débil o citar directamente la fuente primaria.

Cuando el corpus no puede responder, answered es false. No improvisa, y el fallo queda registrado para poder cubrir la laguna.

Superficies legibles por máquina

El endpoint MCP es uno de varios. El mismo corpus se sirve como archivos de texto plano que un agente puede leer directamente:

Cada objeto de conocimiento tiene una página para humanos y una gemela para máquinas en el mismo id, con una URL canónica que coincide en todas ellas.

Comportamiento que conviene conocer antes de integrarlo

• Solo POST. Cualquier otro método responde 405 con una cabecera Allow: POST, OPTIONS.

• Límite de peticiones: 120 peticiones por minuto por cliente, contabilizadas en un almacén compartido, publicadas en cada respuesta como RateLimit-Limit, RateLimit-Remaining y RateLimit-Reset (las tres expuestas vía CORS). Falla en modo abierto: si el almacén no está disponible, la petición se sirve.

• Entrada malformada recibe un error JSON-RPC correcto según la especificación: -32700 para cuerpos no parseables, -32602 para una herramienta desconocida — nunca una página de error HTML.

• Los cuerpos de las peticiones tienen un límite y se validan antes del transporte.

Privacidad

Sin cuentas, sin cookies, sin anuncios. El uso se mide de forma agregada con identificadores hash que rotan a diario y una retención de 200 días; las IP brutas nunca se almacenan. Política completa: PRIVACY.md.

Procedencia y licencia

El contenido de conocimiento es CC-BY-4.0: úsalo, cítalo. El registro de fuentes es público precisamente para que una afirmación pueda comprobarse en lugar de confiar en ella: get_sources devuelve aquello en lo que se sustenta cualquier afirmación dada.

Las afirmaciones llevan un nivel de evidencia y una fecha last_verified. Cuando la evidencia es más débil, el objeto lo dice en lugar de redondear al alza.

Cómo está construido

Compilado y servido por Citarium, un framework de código abierto para convertir un grafo de conocimiento en un sitio web, una API, un servidor MCP y archivos legibles por agentes desde una única fuente — bajo evaluación externa, con los guardianes y el registro de falsación a la vista.

Este repositorio es la cara pública del servidor: su manifiesto y su documentación. El corpus en sí se encuentra en agentreliability.dev.