NM Hard Tools

可部署、无状态的 MCP 服务，用于严格的推理评估和基准测试。本仓库拥有服务实现、容器镜像和 Helm charts。

包含的服务：

• 一个带性能分析的 lm-evaluation-harness 控制器和工作节点；

• 一个用于 vLLM forward-pass 基准测试服务的有界 MCP 适配器；

• 用于 lm-eval、forward-pass、Nyann 和 AgentX 的部署图表。

开发

uv run --extra test pytest
uv run --extra test ruff format --check src tests
uv run --extra test ruff check src tests

仓库治理存储在 gov/ 中，并通过 govctl 进行验证：

cargo install govctl --version 0.19.1 --locked
govctl status
govctl check

lm-eval 镜像必须使用显式的 Python 基础镜像构建：

podman build -f Dockerfile.lm-eval-service \
  --build-arg BASE_IMAGE=python:3.12-slim -t inference-hard-lm-eval:dev .

Related MCP server: ArmBench MCP Server

许可证

根据 Apache License 2.0 许可。参见 LICENSE。