NM Hard Tools

엄격한 추론 평가 및 벤치마킹을 위한 배포 가능한 무상태 MCP 서비스입니다. 이 저장소는 서비스 구현, 컨테이너 이미지, Helm 차트를 관리합니다.

포함된 서비스:

• 프로파일링된 lm-evaluation-harness 컨트롤러 및 워커;

• vLLM forward-pass 벤치마크 서비스용 제한된 MCP 어댑터;

• lm-eval, forward-pass, Nyann, AgentX용 배포 차트.

개발

uv run --extra test pytest
uv run --extra test ruff format --check src tests
uv run --extra test ruff check src tests

저장소 거버넌스는 gov/에 저장되며 govctl로 검증됩니다:

cargo install govctl --version 0.19.1 --locked
govctl status
govctl check

lm-eval 이미지는 명시적인 Python 기본 이미지로 빌드되어야 합니다:

podman build -f Dockerfile.lm-eval-service \
  --build-arg BASE_IMAGE=python:3.12-slim -t inference-hard-lm-eval:dev .

Related MCP server: ArmBench MCP Server

라이선스

Apache License, Version 2.0에 따라 라이선스가 부여됩니다. LICENSE를 참조하세요.