agentdesk-mcp
AgentDesk MCP — Состязательная проверка ИИ
Контроль качества для ИИ-конвейеров — один инструмент MCP. Работает с Claude Code, Claude Desktop и любым клиентом MCP.
29,5% команд НЕ проводят оценку результатов работы ИИ. (Опрос LangChain) Офисные работники тратят 4,3 часа в неделю на проверку фактов в результатах работы ИИ. (Microsoft 2025)
AgentDesk MCP решает эту проблему. Добавьте независимую состязательную проверку в любой ИИ-конвейер за 30 секунд.
Быстрый старт
npm (рекомендуется)
npx @ezark-publish/agentdesk-mcpClaude Code
claude mcp add agentdesk-mcp -- npx @ezark-publish/agentdesk-mcpClaude Desktop
{
"mcpServers": {
"agentdesk-mcp": {
"command": "npx",
"args": ["-y", "@ezark-publish/agentdesk-mcp"],
"env": { "ANTHROPIC_API_KEY": "sk-ant-..." }
}
}
}HTTP-транспорт (потоковый HTTP)
Запустите как HTTP-сервер для удаленного доступа, хостинга Smithery или настройки с несколькими клиентами:
# Start with HTTP transport on port 3100
MCP_HTTP_PORT=3100 npx @ezark-publish/agentdesk-mcp
# Or use the --http flag (defaults to port 3100)
npx @ezark-publish/agentdesk-mcp --httpMCP-эндпоинт: POST http://localhost:3100/mcp
Проверка работоспособности: GET http://localhost:3100/health
Установка из GitHub (альтернатива)
npm install github:Rih0z/agentdesk-mcpТребования
Переменная окружения
ANTHROPIC_API_KEY(использует ваш собственный ключ — BYOK)
Related MCP server: open-code-review
Инструменты
review_output
Состязательная проверка качества любого результата, созданного ИИ. Независимый рецензент исходит из того, что автор допустил ошибки, и активно ищет проблемы.
Входные данные:
Параметр | Обязательный | Описание |
| Да | Результат работы ИИ для проверки |
| Нет | Пользовательские критерии проверки |
| Нет | Категория: |
| Нет | Модель рецензента (по умолчанию: |
Выходные данные:
{
"verdict": "PASS | FAIL | CONDITIONAL_PASS",
"score": 82,
"issues": [
{
"severity": "high",
"category": "accuracy",
"description": "Claim about X is unsupported",
"suggestion": "Add citation or remove claim"
}
],
"checklist": [
{
"item": "Factual accuracy",
"status": "pass",
"evidence": "All statistics match cited sources"
}
],
"summary": "Overall assessment...",
"reviewer_model": "claude-sonnet-4-6"
}review_dual
Двойная состязательная проверка — два независимых рецензента оценивают результат с разных сторон, затем агент слияния объединяет выводы.
Если хотя бы один рецензент находит критическую проблему → объединенный вердикт — FAIL (НЕУДАЧА)
Берется более низкая оценка
Объединяет и удаляет дубликаты всех проблем
Используйте для критически важных результатов, где качество имеет решающее значение.
Те же параметры, что и у review_output.
Как это работает
Состязательный промптинг: Рецензенту дается указание исходить из того, что были допущены ошибки. Никакой презумпции невиновности.
Контрольный список на основе доказательств: Каждый пункт PASS требует конкретных доказательств. Пункты без доказательств автоматически понижаются до FAIL.
Валидация против манипуляций: Если более 30% пунктов контрольного списка не имеют доказательств, вся проверка принудительно переводится в статус FAIL с ограничением оценки в 50 баллов.
Структурированный вывод: Вердикт + числовая оценка + категоризированные проблемы + контрольный список (а не просто «выглядит хорошо»).
Варианты использования
Проверка кода: Поиск ошибок, проблем безопасности, проблем с производительностью
Проверка контента: Проверка точности, читабельности, SEO, соответствия аудитории
Проверка фактов: Подтверждение утверждений в тексте, созданном ИИ
Качество перевода: Проверка точности и естественности
Извлечение данных: Проверка полноты и правильности
Любой результат ИИ: Резюме, отчеты, предложения, электронные письма и т. д.
Почему бы просто не попросить тот же ИИ проверить результат?
Самопроверка имеет систематическую предвзятость снисходительности. LLM, проверяющая свой собственный результат, разделяет те же «слепые зоны», которые привели к ошибкам. Исследования показывают, что модели на 34% чаще используют уверенный тон при галлюцинациях.
AgentDesk использует отдельный вызов рецензента с состязательным промптингом — это фундаментально отличается от самопроверки.
Сравнение
Функция | AgentDesk MCP | Ручной промпт | Braintrust | DeepEval |
Настройка одним инструментом | Да | Нет | Нет | Нет |
Состязательная проверка | Да | DIY | Нет | Нет |
Двойной рецензент | Да | DIY | Нет | Нет |
Валидация против манипуляций | Да | Нет | Нет | Нет |
SDK не требуется | Да | Да | Нет | Нет |
Нативный MCP | Да | Нет | Нет | Нет |
Ограничения
Промпт-инъекции: Как и во всех системах «LLM как судья», состязательные входные данные могут попытаться манипулировать вердиктами рецензента. Уровень валидации против манипуляций смягчает поверхностные попытки, но целенаправленные состязательные входные данные остаются проблемой. Для критически важных случаев используйте в сочетании с детерминированной валидацией.
Стоимость BYOK: Каждый вызов
review_outputделает 1 вызов API LLM;review_dualделает 3. Учитывайте это в расходах вашего конвейера.
Хостинговый API (отдельный продукт)
Для команд, предпочитающих HTTP-интеграцию, доступен хостинговый REST API с дополнительными функциями (маркетплейс агентов, контекстное обучение, рабочие процессы) на сайте agentdesk.usedevtools.com.
Разработка
git clone https://github.com/Rih0z/agentdesk-mcp.git
cd agentdesk-mcp
npm install
npm test # 35 tests
npm run buildЛицензия
MIT
Создано EZARK Consulting | Веб-версия
Available Tools
4 toolsexecute_serviceC
Execute a service on the AgentDesk marketplace. Requires an AgentDesk API key for authentication. Pass service-specific input parameters.
Inputs: service_id (required), input (required), api_key.
list_servicesA
List all available services on the AgentDesk marketplace. Returns service catalog with pricing, quality scores, and capabilities. Filter by category, minimum quality score, maximum price, or capability.
Inputs: category, min_score, max_price, capability.
review_dualA
Dual adversarial review: two independent reviewers assess the output from different angles, then a merge agent combines their findings. Stricter than single review — if either reviewer finds a critical issue, the merged verdict is FAIL. Use for high-stakes outputs where quality is critical.
Inputs: output (required), criteria, review_type, model.
review_outputB
Adversarial quality review of any AI-generated output. An independent reviewer assumes the author made mistakes and actively looks for problems. Returns structured verdict (PASS/FAIL/CONDITIONAL_PASS), score (0-100), categorized issues with severity, and evidence-based checklist. Works for any output type: code, content, summaries, translations, data extraction, etc.
Inputs: output (required), criteria, review_type, model.
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 4 tools
The four tools are clearly divided into two distinct categories: marketplace services (execute_service, list_services) and output review (review_dual, review_output). Even within the review category, the two tools have well-differentiated purposes (single vs. dual adversarial review), so there is no ambiguity.
All tool names follow a consistent verb_noun pattern in snake_case: execute_service, list_services, review_dual, review_output. The naming is predictable and easy to understand.
With 4 tools, the server covers two distinct functions. While each function could benefit from more tools (e.g., more marketplace operations or review management), the current count is reasonable for a focused server and does not feel excessive or insufficient.
The marketplace side only offers list and execute, lacking create, update, or delete operations for services. The review side provides two types of reviews but no ability to list or manage past reviews. These gaps limit the server's coverage for its implied domain.
Maintenance
Related MCP Connectors
Verify AI-generated code before you commit: independent reviewers check it. PR review too.
Independent schema and rule check of AI agent output before you pay. Signed attestation and receipt.
Expert review for AI agents. On-chain proof of human review.
Devil's-advocate QC API for AIs: post a decision, get strongest counter-argument. 0.1 USDT/call
Related MCP Servers
- AlicenseNot gradedqualityNot gradedmaintenanceEnables AI-assisted code review with bias mitigation strategies through cross-model evaluation and bias-aware prompting. Detects AI-generated code from commit authors and provides structured reviews with security, performance, and maintainability analysis.-
- AlicenseAqualityDmaintenanceAI-powered code review tool that detects AI-generated code defects invisible to traditional linters — hallucinated packages, deprecated APIs, cross-file contradictions, hidden security anti-patterns, and over-engineering. Works as a standalone CLI, GitHub Action, or MCP server. Supports TypeScript, Python, Java, Go, and Kotlin. Free for individuals, no API key required.441Business Source 1.1

HumanJudgeofficial
AlicenseNot gradedqualityCmaintenanceHuman-evaluation infrastructure for AI quality. 25,000+ blind human reviews by 200+ verified reviewers across 58 AI models — query the data via five MCP tools (get_model_scores, compare_models, get_flags, check_content, get_latest).2MIT- AlicenseNot gradedqualityDmaintenanceEnables AI-powered, zero-trust code review with multiple models, supporting single files, git diffs, and multiple files, with security, performance, and architecture checks across 10+ languages.15MIT