agentdesk-mcp
AgentDesk MCP — Adversarial AI Review
Qualitätskontrolle für KI-Pipelines — ein MCP-Tool. Funktioniert mit Claude Code, Claude Desktop und jedem MCP-Client.
29,5 % der Teams führen KEINE Evaluierung von KI-Outputs durch. (LangChain-Umfrage) Wissensarbeiter verbringen 4,3 Stunden/Woche mit dem Faktencheck von KI-Outputs. (Microsoft 2025)
AgentDesk MCP behebt dieses Problem. Fügen Sie jeder KI-Pipeline in 30 Sekunden ein unabhängiges, adversariales Review hinzu.
Schnellstart
npm (empfohlen)
npx @ezark-publish/agentdesk-mcpClaude Code
claude mcp add agentdesk-mcp -- npx @ezark-publish/agentdesk-mcpClaude Desktop
{
"mcpServers": {
"agentdesk-mcp": {
"command": "npx",
"args": ["-y", "@ezark-publish/agentdesk-mcp"],
"env": { "ANTHROPIC_API_KEY": "sk-ant-..." }
}
}
}HTTP-Transport (Streamable HTTP)
Als HTTP-Server für Fernzugriff, Smithery-Hosting oder Multi-Client-Setups ausführen:
# Start with HTTP transport on port 3100
MCP_HTTP_PORT=3100 npx @ezark-publish/agentdesk-mcp
# Or use the --http flag (defaults to port 3100)
npx @ezark-publish/agentdesk-mcp --httpMCP-Endpunkt: POST http://localhost:3100/mcp
Health-Check: GET http://localhost:3100/health
Installation von GitHub (Alternative)
npm install github:Rih0z/agentdesk-mcpAnforderungen
ANTHROPIC_API_KEYUmgebungsvariable (verwendet Ihren eigenen Schlüssel — BYOK)
Related MCP server: open-code-review
Tools
review_output
Adversariales Qualitäts-Review für jeden KI-generierten Output. Ein unabhängiger Reviewer geht davon aus, dass der Autor Fehler gemacht hat und sucht aktiv nach Problemen.
Eingabe:
Parameter | Erforderlich | Beschreibung |
| Ja | Der zu überprüfende KI-generierte Output |
| Nein | Benutzerdefinierte Review-Kriterien |
| Nein | Kategorie: |
| Nein | Reviewer-Modell (Standard: |
Ausgabe:
{
"verdict": "PASS | FAIL | CONDITIONAL_PASS",
"score": 82,
"issues": [
{
"severity": "high",
"category": "accuracy",
"description": "Claim about X is unsupported",
"suggestion": "Add citation or remove claim"
}
],
"checklist": [
{
"item": "Factual accuracy",
"status": "pass",
"evidence": "All statistics match cited sources"
}
],
"summary": "Overall assessment...",
"reviewer_model": "claude-sonnet-4-6"
}review_dual
Duales adversariales Review — zwei unabhängige Reviewer bewerten den Output aus verschiedenen Blickwinkeln, dann kombiniert ein Merge-Agent die Ergebnisse.
Wenn einer der Reviewer ein kritisches Problem findet → ist das zusammengeführte Urteil FAIL
Übernimmt die niedrigere Punktzahl
Kombiniert und dedupliziert alle Probleme
Verwenden Sie dies für kritische Outputs, bei denen Qualität entscheidend ist.
Gleiche Parameter wie review_output.
Funktionsweise
Adversariales Prompting: Der Reviewer wird angewiesen, davon auszugehen, dass Fehler gemacht wurden. Kein Vertrauensvorschuss.
Evidenzbasierte Checkliste: Jeder PASS-Punkt erfordert spezifische Belege. Punkte ohne Belege werden automatisch auf FAIL herabgestuft.
Anti-Gaming-Validierung: Wenn >30 % der Checklistenpunkte keine Belege enthalten, wird das gesamte Review zwangsweise auf FAIL gesetzt, mit einer maximalen Punktzahl von 50.
Strukturierter Output: Urteil + numerische Punktzahl + kategorisierte Probleme + Checkliste (nicht nur "sieht gut aus").
Anwendungsfälle
Code-Review: Prüfung auf Bugs, Sicherheitsprobleme, Performance-Probleme
Inhalts-Review: Überprüfung auf Genauigkeit, Lesbarkeit, SEO, Zielgruppenpassung
Faktische Überprüfung: Validierung von Behauptungen in KI-generierten Texten
Übersetzungsqualität: Überprüfung auf Genauigkeit und Natürlichkeit
Datenextraktion: Überprüfung auf Vollständigkeit und Korrektheit
Jeder KI-Output: Zusammenfassungen, Berichte, Vorschläge, E-Mails usw.
Warum nicht einfach dieselbe KI um ein Review bitten?
Selbst-Reviews haben eine systematische Nachsicht-Verzerrung. Ein LLM, das seinen eigenen Output überprüft, teilt dieselben blinden Flecken, die die Fehler verursacht haben. Untersuchungen zeigen, dass Modelle bei Halluzinationen mit 34 % höherer Wahrscheinlichkeit eine selbstbewusste Sprache verwenden.
AgentDesk verwendet einen separaten Reviewer-Aufruf mit adversarialem Prompting — grundlegend anders als ein Selbst-Review.
Vergleich
Funktion | AgentDesk MCP | Manueller Prompt | Braintrust | DeepEval |
Ein-Tool-Setup | Ja | Nein | Nein | Nein |
Adversariales Review | Ja | DIY | Nein | Nein |
Dualer Reviewer | Ja | DIY | Nein | Nein |
Anti-Gaming-Validierung | Ja | Nein | Nein | Nein |
Kein SDK erforderlich | Ja | Ja | Nein | Nein |
MCP-nativ | Ja | Nein | Nein | Nein |
Einschränkungen
Prompt Injection: Wie bei allen LLM-als-Richter-Systemen könnten adversariale Eingaben versuchen, die Urteile des Reviewers zu manipulieren. Die Anti-Gaming-Validierungsschicht mildert oberflächliches Gaming ab, aber entschlossene adversariale Eingaben bleiben eine Herausforderung. Kombinieren Sie dies bei kritischen Anwendungsfällen mit deterministischer Validierung.
BYOK-Kosten: Jeder
review_output-Aufruf tätigt 1 LLM-API-Aufruf;review_dualtätigt 3. Berücksichtigen Sie dies bei Ihren Pipeline-Kosten.
Gehostete API (separates Produkt)
Für Teams, die eine HTTP-Integration bevorzugen, ist eine gehostete REST-API mit zusätzlichen Funktionen (Agent-Marktplatz, Kontext-Lernen, Workflows) unter agentdesk.usedevtools.com verfügbar.
Entwicklung
git clone https://github.com/Rih0z/agentdesk-mcp.git
cd agentdesk-mcp
npm install
npm test # 35 tests
npm run buildLizenz
MIT
Erstellt von EZARK Consulting | Web-Version
Available Tools
4 toolsexecute_serviceC
Execute a service on the AgentDesk marketplace. Requires an AgentDesk API key for authentication. Pass service-specific input parameters.
Inputs: service_id (required), input (required), api_key.
list_servicesA
List all available services on the AgentDesk marketplace. Returns service catalog with pricing, quality scores, and capabilities. Filter by category, minimum quality score, maximum price, or capability.
Inputs: category, min_score, max_price, capability.
review_dualA
Dual adversarial review: two independent reviewers assess the output from different angles, then a merge agent combines their findings. Stricter than single review — if either reviewer finds a critical issue, the merged verdict is FAIL. Use for high-stakes outputs where quality is critical.
Inputs: output (required), criteria, review_type, model.
review_outputB
Adversarial quality review of any AI-generated output. An independent reviewer assumes the author made mistakes and actively looks for problems. Returns structured verdict (PASS/FAIL/CONDITIONAL_PASS), score (0-100), categorized issues with severity, and evidence-based checklist. Works for any output type: code, content, summaries, translations, data extraction, etc.
Inputs: output (required), criteria, review_type, model.
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 4 tools
The four tools are clearly divided into two distinct categories: marketplace services (execute_service, list_services) and output review (review_dual, review_output). Even within the review category, the two tools have well-differentiated purposes (single vs. dual adversarial review), so there is no ambiguity.
All tool names follow a consistent verb_noun pattern in snake_case: execute_service, list_services, review_dual, review_output. The naming is predictable and easy to understand.
With 4 tools, the server covers two distinct functions. While each function could benefit from more tools (e.g., more marketplace operations or review management), the current count is reasonable for a focused server and does not feel excessive or insufficient.
The marketplace side only offers list and execute, lacking create, update, or delete operations for services. The review side provides two types of reviews but no ability to list or manage past reviews. These gaps limit the server's coverage for its implied domain.
Maintenance
Related MCP Connectors
Verify AI-generated code before you commit: independent reviewers check it. PR review too.
Independent schema and rule check of AI agent output before you pay. Signed attestation and receipt.
Expert review for AI agents. On-chain proof of human review.
Devil's-advocate QC API for AIs: post a decision, get strongest counter-argument. 0.1 USDT/call
Related MCP Servers
- AlicenseNot gradedqualityNot gradedmaintenanceEnables AI-assisted code review with bias mitigation strategies through cross-model evaluation and bias-aware prompting. Detects AI-generated code from commit authors and provides structured reviews with security, performance, and maintainability analysis.-
- AlicenseAqualityDmaintenanceAI-powered code review tool that detects AI-generated code defects invisible to traditional linters — hallucinated packages, deprecated APIs, cross-file contradictions, hidden security anti-patterns, and over-engineering. Works as a standalone CLI, GitHub Action, or MCP server. Supports TypeScript, Python, Java, Go, and Kotlin. Free for individuals, no API key required.441Business Source 1.1

HumanJudgeofficial
AlicenseNot gradedqualityCmaintenanceHuman-evaluation infrastructure for AI quality. 25,000+ blind human reviews by 200+ verified reviewers across 58 AI models — query the data via five MCP tools (get_model_scores, compare_models, get_flags, check_content, get_latest).2MIT- AlicenseNot gradedqualityDmaintenanceEnables AI-powered, zero-trust code review with multiple models, supporting single files, git diffs, and multiple files, with security, performance, and architecture checks across 10+ languages.15MIT