Patronus MCP Serverofficial
A
licenseNot graded
qualityD
maintenanceEnables running LLM evaluations, experiments, and custom evaluators through a standardized MCP interface.
16
Apache 2.0
NM Hard Tools
Officialby neuralmagic
NM Hard Tools
Развертываемые сервисы MCP без сохранения состояния для строгой оценки и бенчмаркинга инференса. Этот репозиторий содержит реализации сервисов, образы контейнеров и Helm-чарты.
Включенные сервисы:
профилированный контроллер и воркер
lm-evaluation-harness;ограниченный MCP-адаптер для сервиса бенчмаркинга forward-pass на базе vLLM;
чарты развертывания для lm-eval, forward-pass, Nyann и AgentX.
Разработка
uv run --extra test pytest
uv run --extra test ruff format --check src tests
uv run --extra test ruff check src testsУправление репозиторием хранится в gov/ и проверяется с помощью govctl:
cargo install govctl --version 0.19.1 --locked
govctl status
govctl checkОбраз lm-eval должен собираться с явным базовым образом Python:
podman build -f Dockerfile.lm-eval-service \
--build-arg BASE_IMAGE=python:3.12-slim -t inference-hard-lm-eval:dev .Related MCP server: ArmBench MCP Server
Лицензия
Лицензировано под Apache License, Version 2.0. См. LICENSE.
This server cannot be deployed
Maintenance
ActivitySlowing
ResponsivenessNo issues
Related MCP Connectors
MCP server providing access to the Scorecard API to evaluate and optimize LLM systems.
Pay-per-call AI evaluation MCP server. Score LLM outputs against benchmark rubrics via Workers AI.
Hosted MCP server for LLM cost estimation, model comparison, and budget-aware routing.
Benchmark-first release surface with a read-only MCP endpoint and operator CLI.
Related MCP Servers
- AlicenseNot gradedqualityDmaintenanceEnables benchmarking and inference of LLMs on Arm64 cloud instances with KleidiAI optimizations, providing an MCP-compatible API for serving results.1MIT
Local AI MCPofficial
AlicenseAqualityCmaintenanceUnified MCP server for managing local model runtimes (Ollama, LM Studio, etc.), enabling provider-agnostic discovery, lifecycle management, hardware-fit checks, and delegated inference.1617 npmCreative Commons Attribution Non Commercial No Derivatives 4.0 International- AlicenseNot gradedqualityBmaintenanceEnables benchmarking of local LLM models (performance and quality) and sharing results to a public leaderboard via MCP tools.4 npm8Apache 2.0