ppb-mcp
ppb-mcp
Poor Paul's Benchmark のGPU推論データ(量子化 × スループット × VRAM × 同時ユーザー数)を、あらゆるLLMクライアントからクエリ可能なツールとして提供するMCPサーバーです。
ホスト済みインスタンス: https://mcp.poorpaul.dev/ (streamable-httpトランスポート、認証なし)
機能
MCP対応クライアント(Claude Desktop、Cline、Continueなど)に接続して、以下のような質問が可能です:
「Qwen3.5-9Bを8人の同時ユーザーで実行する場合、32GB GPUに最適な量子化は何ですか?」
「RTX 5090でQ4_K_Mとしてテストされたすべてのモデルを表示して。」
「Llama-13BのQ5_K_Mは、4人の同時ユーザーで24GB GPUに収まりますか?」
30,000件以上の実際のベンチマークデータに基づいた4つのツールを提供します:
ツール | 機能 |
| テスト済みのすべてのGPU、モデル、量子化を一覧表示します(最初に呼び出してください) |
| GPU / VRAM / モデル / 量子化 / ユーザー数 / バックエンドで生のベンチマーク行をフィルタリングします |
| 3段階の経験則に基づく推奨エンジン(高 / 中 / 低の信頼度) |
| (gpu, model, quant, users) 設定のVRAMヘッドルームを健全性チェックします |
Related MCP server: atom-mcp-server
インストール
1) ホスト済みインスタンスを使用する(セットアップ不要)
MCPクライアントの設定に追加します(Claude Desktopの例: ~/Library/Application Support/Claude/claude_desktop_config.json):
{
"mcpServers": {
"ppb": {
"transport": { "type": "http", "url": "https://mcp.poorpaul.dev/mcp" }
}
}
}2) pip install してローカルで実行する (stdio)
pip install ppb-mcp
MCP_TRANSPORT=stdio ppb-mcpClaude Desktopの設定:
{
"mcpServers": {
"ppb": {
"command": "ppb-mcp",
"env": { "MCP_TRANSPORT": "stdio" }
}
}
}3) Docker
docker run --rm -p 8000:8000 \
-e MCP_TRANSPORT=streamable-http \
-v ppb-hf-cache:/data/huggingface \
ghcr.io/paulplee/ppb-mcp:latest4) ソースからビルド
git clone https://github.com/paulplee/ppb-mcp
cd ppb-mcp
pip install -e ".[dev]"
ppb-mcp # streamable-http on :8000セッション例
> list_tested_configs
{ "gpus": ["Apple M4 Pro", "NVIDIA GB10", "NVIDIA GeForce RTX 5090"],
"models": ["Qwen3.5-9B", ...], "quantizations": ["Q4_K_M", ...] }
> recommend_quantization(gpu_vram_gb=32, concurrent_users=8, model="Qwen3.5-9B", priority="balance")
{ "recommended_quantization": "Q5_K_M",
"estimated_vram_usage_gb": 27.8,
"estimated_tokens_per_second": 142.0,
"headroom_gb": 4.2,
"confidence": "high",
"reasoning": "Q5_K_M is recommended for your NVIDIA GeForce RTX 5090 (32 GB) ...",
"alternatives": ["Q4_K_M", "Q8_0"] }設定
環境変数 | デフォルト | 備考 |
|
| HuggingFaceデータセットID |
|
| バックグラウンド更新の間隔 |
|
|
|
|
| HTTPバインドホスト |
|
| HTTPバインドポート |
|
| Pythonの |
セルフホスト (Lightsail / Ubuntu VPSなど)
git clone https://github.com/paulplee/ppb-mcp /tmp/ppb-mcp
cd /tmp/ppb-mcp
DOMAIN=mcp.example.com EMAIL=you@example.com ./deploy/deploy.shこれにより、Dockerのインストール、イメージのビルド、systemdユニットの登録、nginxの設定、certbotの実行が行われます。
開発
pip install -e ".[dev]"
ruff check src tests
pytest -vライブのHuggingFaceデータセットに対する統合テストは、CIをオフラインでクリーンに保つため PPB_RUN_INTEGRATION=1 で制御されています。
推奨の仕組み
Tier 1 — 経験的完全一致(高信頼度): 要求された同時実行数において、VRAM予算内またはそれ以下のGPUで3回以上測定された実行結果。
Tier 2 — 経験的近似(中信頼度): 同じ同時実行数で別のGPUにおいてベンチマークされた同じ
(model, quant)。スループットを流用し、VRAMを自身のカードに合わせてスケーリングします。Tier 3 — 数式による外挿(低信頼度):
vram_per_user ≈ (params_B × bits_per_weight / 8) × 1.15。合計がVRAMの90%以下の場合に有効とみなします。
ライセンス
MIT — LICENSE を参照してください。
This server cannot be deployed
Maintenance
Related MCP Connectors
GPU and LLM inference benchmarks, hardware evidence, deployment recommendations, and launch configs.
Compare LLM API prices, search models and providers, and access reviewed benchmark results.
Source-backed AI model pricing, rankings, history, and benchmark data.
Live cloud GPU prices, observed stock and 12-month price history across 30+ providers (H100, H200, A100, RTX 5090 and more), refreshed hourly. Read-only. Needs a GPU Finder API key sent as "Authorization: Bearer <key>"; free key with 60 data calls a month at https://gpufinder.dev/developers. Listing tools and get_usage are free.
Related MCP Servers
- AlicenseNot gradedqualityNot gradedmaintenanceEnables benchmarking of Large Language Model APIs by measuring performance metrics such as generation throughput, prompt throughput, and Time To First Token (TTFT) with configurable concurrency levels and parameters.1MIT
- AlicenseAqualityBmaintenanceGlobal price benchmarking for AI inference across 2,600+ SKUs from 47 vendors. Query live pricing, market indexes, and model specs via 8 tools. Free tier available.865 npmMIT

Openchainbenchofficial
AlicenseNot gradedqualityAmaintenanceLive, reproducible crypto infrastructure benchmarks for AI agents: RPC latency, bridge fees, L1 finality, gas oracle accuracy, stablecoin pegs. Three tools (list_benchmarks, get_benchmark,query_prom), no API key, CC-BY-4.0 data.8MIT- AlicenseNot gradedqualityBmaintenanceEnables benchmarking of local LLM models (performance and quality) and sharing results to a public leaderboard via MCP tools.4 npm8Apache 2.0