Skip to main content
Glama

AgentDesk MCP — Adversarial AI Review

npm version npm downloads License: MIT Tests MCP

Qualitätskontrolle für KI-Pipelines — ein MCP-Tool. Funktioniert mit Claude Code, Claude Desktop und jedem MCP-Client.

29,5 % der Teams führen KEINE Evaluierung von KI-Outputs durch. (LangChain-Umfrage) Wissensarbeiter verbringen 4,3 Stunden/Woche mit dem Faktencheck von KI-Outputs. (Microsoft 2025)

AgentDesk MCP behebt dieses Problem. Fügen Sie jeder KI-Pipeline in 30 Sekunden ein unabhängiges, adversariales Review hinzu.

Schnellstart

npm (empfohlen)

npx @ezark-publish/agentdesk-mcp

Claude Code

claude mcp add agentdesk-mcp -- npx @ezark-publish/agentdesk-mcp

Claude Desktop

{
  "mcpServers": {
    "agentdesk-mcp": {
      "command": "npx",
      "args": ["-y", "@ezark-publish/agentdesk-mcp"],
      "env": { "ANTHROPIC_API_KEY": "sk-ant-..." }
    }
  }
}

HTTP-Transport (Streamable HTTP)

Als HTTP-Server für Fernzugriff, Smithery-Hosting oder Multi-Client-Setups ausführen:

# Start with HTTP transport on port 3100
MCP_HTTP_PORT=3100 npx @ezark-publish/agentdesk-mcp

# Or use the --http flag (defaults to port 3100)
npx @ezark-publish/agentdesk-mcp --http

MCP-Endpunkt: POST http://localhost:3100/mcp Health-Check: GET http://localhost:3100/health

Installation von GitHub (Alternative)

npm install github:Rih0z/agentdesk-mcp

Anforderungen

  • ANTHROPIC_API_KEY Umgebungsvariable (verwendet Ihren eigenen Schlüssel — BYOK)

Related MCP server: open-code-review

Tools

review_output

Adversariales Qualitäts-Review für jeden KI-generierten Output. Ein unabhängiger Reviewer geht davon aus, dass der Autor Fehler gemacht hat und sucht aktiv nach Problemen.

Eingabe:

Parameter

Erforderlich

Beschreibung

output

Ja

Der zu überprüfende KI-generierte Output

criteria

Nein

Benutzerdefinierte Review-Kriterien

review_type

Nein

Kategorie: code, content, factual, translation usw.

model

Nein

Reviewer-Modell (Standard: claude-sonnet-4-6)

Ausgabe:

{
  "verdict": "PASS | FAIL | CONDITIONAL_PASS",
  "score": 82,
  "issues": [
    {
      "severity": "high",
      "category": "accuracy",
      "description": "Claim about X is unsupported",
      "suggestion": "Add citation or remove claim"
    }
  ],
  "checklist": [
    {
      "item": "Factual accuracy",
      "status": "pass",
      "evidence": "All statistics match cited sources"
    }
  ],
  "summary": "Overall assessment...",
  "reviewer_model": "claude-sonnet-4-6"
}

review_dual

Duales adversariales Review — zwei unabhängige Reviewer bewerten den Output aus verschiedenen Blickwinkeln, dann kombiniert ein Merge-Agent die Ergebnisse.

  • Wenn einer der Reviewer ein kritisches Problem findet → ist das zusammengeführte Urteil FAIL

  • Übernimmt die niedrigere Punktzahl

  • Kombiniert und dedupliziert alle Probleme

Verwenden Sie dies für kritische Outputs, bei denen Qualität entscheidend ist.

Gleiche Parameter wie review_output.

Funktionsweise

  1. Adversariales Prompting: Der Reviewer wird angewiesen, davon auszugehen, dass Fehler gemacht wurden. Kein Vertrauensvorschuss.

  2. Evidenzbasierte Checkliste: Jeder PASS-Punkt erfordert spezifische Belege. Punkte ohne Belege werden automatisch auf FAIL herabgestuft.

  3. Anti-Gaming-Validierung: Wenn >30 % der Checklistenpunkte keine Belege enthalten, wird das gesamte Review zwangsweise auf FAIL gesetzt, mit einer maximalen Punktzahl von 50.

  4. Strukturierter Output: Urteil + numerische Punktzahl + kategorisierte Probleme + Checkliste (nicht nur "sieht gut aus").

Anwendungsfälle

  • Code-Review: Prüfung auf Bugs, Sicherheitsprobleme, Performance-Probleme

  • Inhalts-Review: Überprüfung auf Genauigkeit, Lesbarkeit, SEO, Zielgruppenpassung

  • Faktische Überprüfung: Validierung von Behauptungen in KI-generierten Texten

  • Übersetzungsqualität: Überprüfung auf Genauigkeit und Natürlichkeit

  • Datenextraktion: Überprüfung auf Vollständigkeit und Korrektheit

  • Jeder KI-Output: Zusammenfassungen, Berichte, Vorschläge, E-Mails usw.

Warum nicht einfach dieselbe KI um ein Review bitten?

Selbst-Reviews haben eine systematische Nachsicht-Verzerrung. Ein LLM, das seinen eigenen Output überprüft, teilt dieselben blinden Flecken, die die Fehler verursacht haben. Untersuchungen zeigen, dass Modelle bei Halluzinationen mit 34 % höherer Wahrscheinlichkeit eine selbstbewusste Sprache verwenden.

AgentDesk verwendet einen separaten Reviewer-Aufruf mit adversarialem Prompting — grundlegend anders als ein Selbst-Review.

Vergleich

Funktion

AgentDesk MCP

Manueller Prompt

Braintrust

DeepEval

Ein-Tool-Setup

Ja

Nein

Nein

Nein

Adversariales Review

Ja

DIY

Nein

Nein

Dualer Reviewer

Ja

DIY

Nein

Nein

Anti-Gaming-Validierung

Ja

Nein

Nein

Nein

Kein SDK erforderlich

Ja

Ja

Nein

Nein

MCP-nativ

Ja

Nein

Nein

Nein

Einschränkungen

  • Prompt Injection: Wie bei allen LLM-als-Richter-Systemen könnten adversariale Eingaben versuchen, die Urteile des Reviewers zu manipulieren. Die Anti-Gaming-Validierungsschicht mildert oberflächliches Gaming ab, aber entschlossene adversariale Eingaben bleiben eine Herausforderung. Kombinieren Sie dies bei kritischen Anwendungsfällen mit deterministischer Validierung.

  • BYOK-Kosten: Jeder review_output-Aufruf tätigt 1 LLM-API-Aufruf; review_dual tätigt 3. Berücksichtigen Sie dies bei Ihren Pipeline-Kosten.

Gehostete API (separates Produkt)

Für Teams, die eine HTTP-Integration bevorzugen, ist eine gehostete REST-API mit zusätzlichen Funktionen (Agent-Marktplatz, Kontext-Lernen, Workflows) unter agentdesk.usedevtools.com verfügbar.

Entwicklung

git clone https://github.com/Rih0z/agentdesk-mcp.git
cd agentdesk-mcp
npm install
npm test        # 35 tests
npm run build

Lizenz

MIT


Erstellt von EZARK Consulting | Web-Version

Available Tools

4 tools
execute_serviceC

Execute a service on the AgentDesk marketplace. Requires an AgentDesk API key for authentication. Pass service-specific input parameters.

Inputs: service_id (required), input (required), api_key.

list_servicesA

List all available services on the AgentDesk marketplace. Returns service catalog with pricing, quality scores, and capabilities. Filter by category, minimum quality score, maximum price, or capability.

Inputs: category, min_score, max_price, capability.

review_dualA

Dual adversarial review: two independent reviewers assess the output from different angles, then a merge agent combines their findings. Stricter than single review — if either reviewer finds a critical issue, the merged verdict is FAIL. Use for high-stakes outputs where quality is critical.

Inputs: output (required), criteria, review_type, model.

review_outputB

Adversarial quality review of any AI-generated output. An independent reviewer assumes the author made mistakes and actively looks for problems. Returns structured verdict (PASS/FAIL/CONDITIONAL_PASS), score (0-100), categorized issues with severity, and evidence-based checklist. Works for any output type: code, content, summaries, translations, data extraction, etc.

Inputs: output (required), criteria, review_type, model.

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A3.6/5.0

    Scored across 4 tools

    Disambiguation5/5

    The four tools are clearly divided into two distinct categories: marketplace services (execute_service, list_services) and output review (review_dual, review_output). Even within the review category, the two tools have well-differentiated purposes (single vs. dual adversarial review), so there is no ambiguity.

    Naming Consistency5/5

    All tool names follow a consistent verb_noun pattern in snake_case: execute_service, list_services, review_dual, review_output. The naming is predictable and easy to understand.

    Tool Count4/5

    With 4 tools, the server covers two distinct functions. While each function could benefit from more tools (e.g., more marketplace operations or review management), the current count is reasonable for a focused server and does not feel excessive or insufficient.

    Completeness3/5

    The marketplace side only offers list and execute, lacking create, update, or delete operations for services. The review side provides two types of reviews but no ability to list or manage past reviews. These gaps limit the server's coverage for its implied domain.

    Maintenance

    ActivityNo data
    ResponsivenessSyncing

    Related MCP Connectors

    Related MCP Servers

    • A
      license
      Not graded
      quality
      Not graded
      maintenance
      Enables AI-assisted code review with bias mitigation strategies through cross-model evaluation and bias-aware prompting. Detects AI-generated code from commit authors and provides structured reviews with security, performance, and maintainability analysis.
      -
    • A
      license
      A
      quality
      D
      maintenance
      AI-powered code review tool that detects AI-generated code defects invisible to traditional linters — hallucinated packages, deprecated APIs, cross-file contradictions, hidden security anti-patterns, and over-engineering. Works as a standalone CLI, GitHub Action, or MCP server. Supports TypeScript, Python, Java, Go, and Kotlin. Free for individuals, no API key required.
      4
      41
      Business Source 1.1
    • A
      license
      Not graded
      quality
      C
      maintenance
      Human-evaluation infrastructure for AI quality. 25,000+ blind human reviews by 200+ verified reviewers across 58 AI models — query the data via five MCP tools (get_model_scores, compare_models, get_flags, check_content, get_latest).
      2
      MIT
    • A
      license
      Not graded
      quality
      D
      maintenance
      Enables AI-powered, zero-trust code review with multiple models, supporting single files, git diffs, and multiple files, with security, performance, and architecture checks across 10+ languages.
      15
      MIT