Skip to main content
Glama

AgentDesk MCP — Revisión de IA Adversarial

npm version npm downloads License: MIT Tests MCP

Control de calidad para procesos de IA — una herramienta MCP. Funciona con Claude Code, Claude Desktop y cualquier cliente MCP.

El 29.5% de los equipos NO realiza ninguna evaluación de los resultados de la IA. (Encuesta de LangChain) Los trabajadores del conocimiento dedican 4.3 horas/semana a verificar los resultados de la IA. (Microsoft 2025)

AgentDesk MCP soluciona esto. Añade una revisión adversarial independiente a cualquier proceso de IA en 30 segundos.

Inicio rápido

npm (recomendado)

npx @ezark-publish/agentdesk-mcp

Claude Code

claude mcp add agentdesk-mcp -- npx @ezark-publish/agentdesk-mcp

Claude Desktop

{
  "mcpServers": {
    "agentdesk-mcp": {
      "command": "npx",
      "args": ["-y", "@ezark-publish/agentdesk-mcp"],
      "env": { "ANTHROPIC_API_KEY": "sk-ant-..." }
    }
  }
}

Transporte HTTP (HTTP transmitible)

Ejecútalo como un servidor HTTP para acceso remoto, alojamiento en Smithery o configuraciones de múltiples clientes:

# Start with HTTP transport on port 3100
MCP_HTTP_PORT=3100 npx @ezark-publish/agentdesk-mcp

# Or use the --http flag (defaults to port 3100)
npx @ezark-publish/agentdesk-mcp --http

Endpoint de MCP: POST http://localhost:3100/mcp Verificación de estado: GET http://localhost:3100/health

Instalar desde GitHub (alternativa)

npm install github:Rih0z/agentdesk-mcp

Requisitos

  • Variable de entorno ANTHROPIC_API_KEY (utiliza tu propia clave — BYOK)

Related MCP server: open-code-review

Herramientas

review_output

Revisión de calidad adversarial de cualquier resultado generado por IA. Un revisor independiente asume que el autor cometió errores y busca activamente problemas.

Entrada:

Parámetro

Requerido

Descripción

output

Sí

El resultado generado por la IA a revisar

criteria

No

Criterios de revisión personalizados

review_type

No

Categoría: code, content, factual, translation, etc.

model

No

Modelo de revisor (predeterminado: claude-sonnet-4-6)

Salida:

{
  "verdict": "PASS | FAIL | CONDITIONAL_PASS",
  "score": 82,
  "issues": [
    {
      "severity": "high",
      "category": "accuracy",
      "description": "Claim about X is unsupported",
      "suggestion": "Add citation or remove claim"
    }
  ],
  "checklist": [
    {
      "item": "Factual accuracy",
      "status": "pass",
      "evidence": "All statistics match cited sources"
    }
  ],
  "summary": "Overall assessment...",
  "reviewer_model": "claude-sonnet-4-6"
}

review_dual

Revisión adversarial dual — dos revisores independientes evalúan el resultado desde diferentes ángulos, luego un agente de fusión combina los hallazgos.

  • Si cualquiera de los revisores encuentra un problema crítico → el veredicto combinado es FAIL (FALLO)

  • Toma la puntuación más baja

  • Combina y elimina duplicados de todos los problemas

Úsalo para resultados de alto riesgo donde la calidad es crítica.

Mismos parámetros que review_output.

Cómo funciona

  1. Prompting adversarial: Se instruye al revisor para que asuma que se cometieron errores. Sin beneficio de la duda.

  2. Lista de verificación basada en evidencia: Cada elemento PASS (APROBADO) requiere evidencia específica. Los elementos sin evidencia se degradan automáticamente a FAIL (FALLO).

  3. Validación anti-juego: Si más del 30% de los elementos de la lista de verificación carecen de evidencia, toda la revisión se fuerza a FAIL (FALLO) con una puntuación máxima de 50.

  4. Salida estructurada: Veredicto + puntuación numérica + problemas categorizados + lista de verificación (no solo "se ve bien").

Casos de uso

  • Revisión de código: Comprobar errores, problemas de seguridad, problemas de rendimiento

  • Revisión de contenido: Verificar precisión, legibilidad, SEO, adecuación a la audiencia

  • Verificación factual: Validar afirmaciones en texto generado por IA

  • Calidad de traducción: Comprobar precisión y naturalidad

  • Extracción de datos: Verificar integridad y corrección

  • Cualquier resultado de IA: Resúmenes, informes, propuestas, correos electrónicos, etc.

¿Por qué no pedirle a la misma IA que revise?

La autoevaluación tiene un sesgo de indulgencia sistemático. Un LLM que revisa su propio resultado comparte los mismos puntos ciegos que crearon los errores. La investigación muestra que los modelos tienen un 34% más de probabilidades de usar un lenguaje confiado cuando alucinan.

AgentDesk utiliza una invocación de revisor separada con prompting adversarial, fundamentalmente diferente de la autoevaluación.

Comparación

Característica

AgentDesk MCP

Prompt manual

Braintrust

DeepEval

Configuración de una herramienta

Sí

No

No

No

Revisión adversarial

Sí

DIY

No

No

Revisor dual

Sí

DIY

No

No

Validación anti-juego

Sí

No

No

No

No requiere SDK

Sí

Sí

No

No

Nativo de MCP

Sí

No

No

No

Limitaciones

  • Inyección de prompt: Como todos los sistemas de LLM-como-juez, las entradas adversariales podrían intentar manipular los veredictos del revisor. La capa de validación anti-juego mitiga el juego superficial, pero las entradas adversariales determinadas siguen siendo un desafío. Para casos de uso de alto riesgo, combínalo con validación determinista.

  • Costo BYOK: Cada llamada a review_output realiza 1 llamada a la API de LLM; review_dual realiza 3. Ten esto en cuenta en los costos de tu proceso.

API alojada (Producto separado)

Para equipos que prefieren la integración HTTP, una API REST alojada con características adicionales (mercado de agentes, aprendizaje de contexto, flujos de trabajo) está disponible en agentdesk.usedevtools.com.

Desarrollo

git clone https://github.com/Rih0z/agentdesk-mcp.git
cd agentdesk-mcp
npm install
npm test        # 35 tests
npm run build

Licencia

MIT


Creado por EZARK Consulting | Versión web

Available Tools

4 tools
execute_serviceC

Execute a service on the AgentDesk marketplace. Requires an AgentDesk API key for authentication. Pass service-specific input parameters.

Inputs: service_id (required), input (required), api_key.

list_servicesA

List all available services on the AgentDesk marketplace. Returns service catalog with pricing, quality scores, and capabilities. Filter by category, minimum quality score, maximum price, or capability.

Inputs: category, min_score, max_price, capability.

review_dualA

Dual adversarial review: two independent reviewers assess the output from different angles, then a merge agent combines their findings. Stricter than single review — if either reviewer finds a critical issue, the merged verdict is FAIL. Use for high-stakes outputs where quality is critical.

Inputs: output (required), criteria, review_type, model.

review_outputB

Adversarial quality review of any AI-generated output. An independent reviewer assumes the author made mistakes and actively looks for problems. Returns structured verdict (PASS/FAIL/CONDITIONAL_PASS), score (0-100), categorized issues with severity, and evidence-based checklist. Works for any output type: code, content, summaries, translations, data extraction, etc.

Inputs: output (required), criteria, review_type, model.

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A3.6/5.0

    Scored across 4 tools

    Disambiguation5/5

    The four tools are clearly divided into two distinct categories: marketplace services (execute_service, list_services) and output review (review_dual, review_output). Even within the review category, the two tools have well-differentiated purposes (single vs. dual adversarial review), so there is no ambiguity.

    Naming Consistency5/5

    All tool names follow a consistent verb_noun pattern in snake_case: execute_service, list_services, review_dual, review_output. The naming is predictable and easy to understand.

    Tool Count4/5

    With 4 tools, the server covers two distinct functions. While each function could benefit from more tools (e.g., more marketplace operations or review management), the current count is reasonable for a focused server and does not feel excessive or insufficient.

    Completeness3/5

    The marketplace side only offers list and execute, lacking create, update, or delete operations for services. The review side provides two types of reviews but no ability to list or manage past reviews. These gaps limit the server's coverage for its implied domain.

    Maintenance

    ActivityNo data
    ResponsivenessSyncing

    Related MCP Connectors

    Related MCP Servers

    • A
      license
      Not graded
      quality
      Not graded
      maintenance
      Enables AI-assisted code review with bias mitigation strategies through cross-model evaluation and bias-aware prompting. Detects AI-generated code from commit authors and provides structured reviews with security, performance, and maintainability analysis.
      -
    • A
      license
      A
      quality
      D
      maintenance
      AI-powered code review tool that detects AI-generated code defects invisible to traditional linters — hallucinated packages, deprecated APIs, cross-file contradictions, hidden security anti-patterns, and over-engineering. Works as a standalone CLI, GitHub Action, or MCP server. Supports TypeScript, Python, Java, Go, and Kotlin. Free for individuals, no API key required.
      4
      41
      Business Source 1.1
    • A
      license
      Not graded
      quality
      C
      maintenance
      Human-evaluation infrastructure for AI quality. 25,000+ blind human reviews by 200+ verified reviewers across 58 AI models — query the data via five MCP tools (get_model_scores, compare_models, get_flags, check_content, get_latest).
      2
      MIT
    • A
      license
      Not graded
      quality
      D
      maintenance
      Enables AI-powered, zero-trust code review with multiple models, supporting single files, git diffs, and multiple files, with security, performance, and architecture checks across 10+ languages.
      15
      MIT