NM Hard Tools

Развертываемые сервисы MCP без сохранения состояния для строгой оценки и бенчмаркинга инференса. Этот репозиторий содержит реализации сервисов, образы контейнеров и Helm-чарты.

Включенные сервисы:

• профилированный контроллер и воркер lm-evaluation-harness;

• ограниченный MCP-адаптер для сервиса бенчмаркинга forward-pass на базе vLLM;

• чарты развертывания для lm-eval, forward-pass, Nyann и AgentX.

Разработка

uv run --extra test pytest
uv run --extra test ruff format --check src tests
uv run --extra test ruff check src tests

Управление репозиторием хранится в gov/ и проверяется с помощью govctl:

cargo install govctl --version 0.19.1 --locked
govctl status
govctl check

Образ lm-eval должен собираться с явным базовым образом Python:

podman build -f Dockerfile.lm-eval-service \
  --build-arg BASE_IMAGE=python:3.12-slim -t inference-hard-lm-eval:dev .

Related MCP server: ArmBench MCP Server

Лицензия

Лицензировано под Apache License, Version 2.0. См. LICENSE.