Agent Reliability — MCP server

Testen, Benchmarking und Prüfung autonomer KI-Agenten — Methoden, Testumgebungen, Evidenz.

Ein Remote-MCP-Server, der auf einem kuratierten Wissensgraphen basiert. Jede Aussage, die er zurückgibt, ist an eine registrierte Quelle gebunden: Die Tools liefern Aussagen mit ihren Quellenangaben und einem Konfidenzwert zurück, sodass ein Agent seine Arbeit zeigen kann, statt zu behaupten.

Nichts zu installieren. Es ist ein gehosteter Streamable-HTTP-Endpunkt:

https://agentreliability.dev/mcp

In einen Client einbinden

Claude Code

claude mcp add --transport http agent-reliability https://agentreliability.dev/mcp

Claude Desktop / jeder Client, der mcpServers liest

{
  "mcpServers": {
    "agent-reliability": {
      "type": "streamable-http",
      "url": "https://agentreliability.dev/mcp"
    }
  }
}

Kein API-Schlüssel, kein Konto, keine Authentifizierung. Nur lesend.

Prüfen Sie, ob es antwortet, ganz ohne Client:

curl -s https://agentreliability.dev/mcp \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json, text/event-stream' \
  -H 'mcp-protocol-version: 2025-06-18' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

Related MCP server: knowledgelib-mcp

Tools

Acht, jedes mit einem outputSchema, jedes gibt structuredContent zurück.

Der vorgesehene Pfad ist get_overview → search oder answer → get_entity → get_related. get_overview gibt es, weil ein Agent, der gerade angekommen ist, wissen muss, ob dieser Korpus helfen kann, bevor er einen Aufruf mit Raten verschwendet.

Was der Korpus enthält

Themen: Evals und Benchmarks (GAIA, AgentBench, Inspect), LLM-as-judge und seine Fehlermodi, Goodhart und Benchmark-Kontamination, Fehlerinjektion und Chaos-Tests, Freigabestufen und Autonomiegrade, Grounding und Faithfulness.

Fragen, die es beantworten soll

• Wie unterscheide ich ein echtes Eval von einem Benchmark, den mein Agent auswendig gelernt hat?

• Was bedeutet Kalibrierung für einen LLM-Judge, und wie wird sie gemessen?

• Welche Fehlermodi deckt Fehlerinjektion tatsächlich auf?

Wie eine Antwort tatsächlich aussieht

Ein echter Aufruf gegen den Live-Endpunkt — answer mit „Wie unterscheide ich ein echtes Eval von Benchmark-Kontamination?“ — gibt dieses structuredContent gekürzt zurück:

{
  "answered": true,
  "entity": {
    "id": "agent-reliability-glossary",
    "name": "Agent reliability glossary",
    "evidence_tier": "secondary",
    "confidence": 0.85,
    "last_verified": "2026-08-08",
    "canonical_url": "https://agentreliability.dev/k/agent-reliability-glossary"
  },
  "claims": [
    {
      "text": "An eval is a structured, repeatable test that measures an LLM or LLM-based system against a defined dimension; frameworks package evals as registries of reusable templates.",
      "sources": [{ "title": "openai/evals — framework for evaluating LLMs and LLM systems" }]
    }
  ]
}

Beachten Sie, was mit der Antwort mitgeliefert wird: die Evidenzstufe, eine Konfidenz, das Datum der letzten Verifizierung und die Quelle hinter der Aussage — nicht als Prosa, die ein Agent parsen muss, sondern als Felder, mit denen er arbeiten kann. Ein Agent kann eine schwache Aussage ablehnen oder die Primärquelle direkt zitieren.

Wenn der Korpus nicht antworten kann, ist answered false. Er improvisiert nicht, und der Fehlversuch wird aufgezeichnet, damit die Lücke geschlossen werden kann.

Maschinenlesbare Oberflächen

Der MCP-Endpunkt ist einer von mehreren. Derselbe Korpus wird als einfache Dateien bereitgestellt, die ein Agent direkt lesen kann:

Jedes Wissensobjekt hat eine Seite für Menschen und ein maschinenlesbares Gegenstück unter derselben ID, mit einer kanonischen URL, die über alle hinweg übereinstimmt.

Verhalten, das Sie vor der Integration kennen sollten

• Nur POST. Jede andere Methode antwortet mit 405 und einem Allow: POST, OPTIONS-Header.

• Rate-Limit: 120 Anfragen pro Minute und Client, gezählt in einem gemeinsamen Speicher, auf jeder Antwort als RateLimit-Limit, RateLimit-Remaining und RateLimit-Reset veröffentlicht (alle drei über CORS zugänglich). Im Fehlerfall verhält es sich offen: Ist der Speicher nicht erreichbar, wird die Anfrage bedient.

• Fehlerhafter Input erhält einen spezifikationskonformen JSON-RPC-Fehler — -32700 für nicht parsebare Bodies, -32602 für ein unbekanntes Tool — niemals eine HTML-Fehlerseite.

• Anfrage-Bodies sind begrenzt und werden vor der Übertragung validiert.

Datenschutz

Keine Konten, keine Cookies, keine Werbung. Die Nutzung wird aggregiert gemessen, mit täglich rotierenden gehashten Identifikatoren und einer Aufbewahrungsfrist von 200 Tagen; rohe IP-Adressen werden nie gespeichert. Vollständige Richtlinie: PRIVACY.md.

Herkunft und Lizenz

Wissensinhalte sind CC-BY-4.0: nutzen Sie sie, zitieren Sie sie. Das Quellenregister ist genau deshalb öffentlich, damit eine Aussage geprüft statt geglaubt werden kann — get_sources liefert, worauf eine bestimmte Aussage beruht.

Aussagen tragen eine Evidenzstufe und ein last_verified-Datum. Wo die Evidenz schwächer ist, sagt das Objekt das, statt zu beschönigen.

Wie es aufgebaut ist

Kompiliert und bereitgestellt von Citarium, einem Open-Source-Framework, das einen Wissensgraphen als einzige Quelle nimmt und in eine Website, eine API, einen MCP-Server und agentenlesbare Dateien verwandelt — unter externer Evaluierung, bei der die Verantwortlichen und das Falsifikationsprotokoll offen einsehbar sind.

Dieses Repository ist das öffentliche Gesicht des Servers: sein Manifest und seine Dokumentation. Der Korpus selbst liegt unter agentreliability.dev.