NM Hard Tools

デプロイ可能でステートレスなMCPサービス。厳密な推論評価とベンチマーキングのためのものです。このリポジトリは、サービス実装、コンテナイメージ、およびHelmチャートを管理します。

含まれるサービス:

• プロファイリングされたlm-evaluation-harnessコントローラとワーカー;

• vLLM forward-pass ベンチマークサービスのための制限付きMCPアダプタ;

• lm-eval、forward-pass、Nyann、AgentX のデプロイメントチャート。

開発

uv run --extra test pytest
uv run --extra test ruff format --check src tests
uv run --extra test ruff check src tests

リポジトリのガバナンスはgov/に保存され、govctlで検証されます:

cargo install govctl --version 0.19.1 --locked
govctl status
govctl check

lm-evalイメージは、明示的なPythonベースイメージでビルドする必要があります:

podman build -f Dockerfile.lm-eval-service \
  --build-arg BASE_IMAGE=python:3.12-slim -t inference-hard-lm-eval:dev .

Related MCP server: ArmBench MCP Server

ライセンス

Apache License, Version 2.0の下でライセンスされています。LICENSEを参照してください。