Skip to main content
Glama

ppb-mcp

Poor Paul's Benchmark のGPU推論データ(量子化 × スループット × VRAM × 同時ユーザー数)を、あらゆるLLMクライアントからクエリ可能なツールとして提供するMCPサーバーです。

CI PyPI License: MIT

ホスト済みインスタンス: https://mcp.poorpaul.dev/ (streamable-httpトランスポート、認証なし)

機能

MCP対応クライアント(Claude Desktop、Cline、Continueなど)に接続して、以下のような質問が可能です:

  • 「Qwen3.5-9Bを8人の同時ユーザーで実行する場合、32GB GPUに最適な量子化は何ですか?」

  • 「RTX 5090でQ4_K_Mとしてテストされたすべてのモデルを表示して。」

  • 「Llama-13BのQ5_K_Mは、4人の同時ユーザーで24GB GPUに収まりますか?」

30,000件以上の実際のベンチマークデータに基づいた4つのツールを提供します:

ツール

機能

list_tested_configs

テスト済みのすべてのGPU、モデル、量子化を一覧表示します(最初に呼び出してください)

query_ppb_results

GPU / VRAM / モデル / 量子化 / ユーザー数 / バックエンドで生のベンチマーク行をフィルタリングします

recommend_quantization

3段階の経験則に基づく推奨エンジン(高 / 中 / 低の信頼度)

get_gpu_headroom

(gpu, model, quant, users) 設定のVRAMヘッドルームを健全性チェックします

Related MCP server: atom-mcp-server

インストール

1) ホスト済みインスタンスを使用する(セットアップ不要)

MCPクライアントの設定に追加します(Claude Desktopの例: ~/Library/Application Support/Claude/claude_desktop_config.json):

{
  "mcpServers": {
    "ppb": {
      "transport": { "type": "http", "url": "https://mcp.poorpaul.dev/mcp" }
    }
  }
}

2) pip install してローカルで実行する (stdio)

pip install ppb-mcp
MCP_TRANSPORT=stdio ppb-mcp

Claude Desktopの設定:

{
  "mcpServers": {
    "ppb": {
      "command": "ppb-mcp",
      "env": { "MCP_TRANSPORT": "stdio" }
    }
  }
}

3) Docker

docker run --rm -p 8000:8000 \
  -e MCP_TRANSPORT=streamable-http \
  -v ppb-hf-cache:/data/huggingface \
  ghcr.io/paulplee/ppb-mcp:latest

4) ソースからビルド

git clone https://github.com/paulplee/ppb-mcp
cd ppb-mcp
pip install -e ".[dev]"
ppb-mcp           # streamable-http on :8000

セッション例

> list_tested_configs
{ "gpus": ["Apple M4 Pro", "NVIDIA GB10", "NVIDIA GeForce RTX 5090"],
  "models": ["Qwen3.5-9B", ...], "quantizations": ["Q4_K_M", ...] }

> recommend_quantization(gpu_vram_gb=32, concurrent_users=8, model="Qwen3.5-9B", priority="balance")
{ "recommended_quantization": "Q5_K_M",
  "estimated_vram_usage_gb": 27.8,
  "estimated_tokens_per_second": 142.0,
  "headroom_gb": 4.2,
  "confidence": "high",
  "reasoning": "Q5_K_M is recommended for your NVIDIA GeForce RTX 5090 (32 GB) ...",
  "alternatives": ["Q4_K_M", "Q8_0"] }

設定

環境変数

デフォルト

備考

HF_DATASET

paulplee/ppb-results

HuggingFaceデータセットID

REFRESH_INTERVAL_HOURS

1

バックグラウンド更新の間隔

MCP_TRANSPORT

streamable-http

stdio または streamable-http

HOST

0.0.0.0

HTTPバインドホスト

PORT

8000

HTTPバインドポート

LOG_LEVEL

INFO

Pythonの logging レベル

セルフホスト (Lightsail / Ubuntu VPSなど)

git clone https://github.com/paulplee/ppb-mcp /tmp/ppb-mcp
cd /tmp/ppb-mcp
DOMAIN=mcp.example.com EMAIL=you@example.com ./deploy/deploy.sh

これにより、Dockerのインストール、イメージのビルド、systemdユニットの登録、nginxの設定、certbotの実行が行われます。

開発

pip install -e ".[dev]"
ruff check src tests
pytest -v

ライブのHuggingFaceデータセットに対する統合テストは、CIをオフラインでクリーンに保つため PPB_RUN_INTEGRATION=1 で制御されています。

推奨の仕組み

  1. Tier 1 — 経験的完全一致(高信頼度): 要求された同時実行数において、VRAM予算内またはそれ以下のGPUで3回以上測定された実行結果。

  2. Tier 2 — 経験的近似(中信頼度): 同じ同時実行数で別のGPUにおいてベンチマークされた同じ (model, quant)。スループットを流用し、VRAMを自身のカードに合わせてスケーリングします。

  3. Tier 3 — 数式による外挿(低信頼度): vram_per_user ≈ (params_B × bits_per_weight / 8) × 1.15。合計がVRAMの90%以下の場合に有効とみなします。

ライセンス

MIT — LICENSE を参照してください。

Related MCP Connectors

Related MCP Servers

  • A
    license
    Not graded
    quality
    A
    maintenance
    Live, reproducible crypto infrastructure benchmarks for AI agents: RPC latency, bridge fees, L1 finality, gas oracle accuracy, stablecoin pegs. Three tools (list_benchmarks, get_benchmark,query_prom), no API key, CC-BY-4.0 data.
    8
    MIT
  • A
    license
    Not graded
    quality
    B
    maintenance
    Enables benchmarking of local LLM models (performance and quality) and sharing results to a public leaderboard via MCP tools.
    4 npm
    8
    Apache 2.0