ppb-mcp

Ein MCP-Server, der Poor Paul's Benchmark GPU-Inferenzdaten — Quantisierung × Durchsatz × VRAM × gleichzeitige Benutzer — als abfragbare Tools für jeden LLM-Client bereitstellt.

Gehostete Instanz: https://mcp.poorpaul.dev/ (streamable-http Transport, keine Authentifizierung)

Funktionsweise

Verbinden Sie jeden MCP-fähigen Client (Claude Desktop, Cline, Continue, etc.), um Fragen zu stellen wie:

• "Was ist die beste Quantisierung für eine 32 GB GPU, auf der Qwen3.5-9B mit 8 gleichzeitigen Benutzern läuft?"

• "Zeige mir jedes Modell, das mit Q4_K_M auf der RTX 5090 getestet wurde."

• "Passt Llama-13B mit Q5_K_M auf eine 24 GB GPU bei 4 gleichzeitigen Benutzern?"

Es stellt vier Tools bereit, die auf über 30.000 echten Benchmark-Datensätzen basieren:

Related MCP server: atom-mcp-server

Installation

1) Die gehostete Instanz verwenden (keine Einrichtung erforderlich)

Fügen Sie dies zu Ihrer MCP-Client-Konfiguration hinzu (Beispiel für Claude Desktop, ~/Library/Application Support/Claude/claude_desktop_config.json):

{
  "mcpServers": {
    "ppb": {
      "transport": { "type": "http", "url": "https://mcp.poorpaul.dev/mcp" }
    }
  }
}

2) pip install und lokal ausführen (stdio)

pip install ppb-mcp
MCP_TRANSPORT=stdio ppb-mcp

Claude Desktop Konfiguration:

{
  "mcpServers": {
    "ppb": {
      "command": "ppb-mcp",
      "env": { "MCP_TRANSPORT": "stdio" }
    }
  }
}

3) Docker

docker run --rm -p 8000:8000 \
  -e MCP_TRANSPORT=streamable-http \
  -v ppb-hf-cache:/data/huggingface \
  ghcr.io/paulplee/ppb-mcp:latest

4) Aus dem Quellcode

git clone https://github.com/paulplee/ppb-mcp
cd ppb-mcp
pip install -e ".[dev]"
ppb-mcp           # streamable-http on :8000

Beispiel-Sitzung

> list_tested_configs
{ "gpus": ["Apple M4 Pro", "NVIDIA GB10", "NVIDIA GeForce RTX 5090"],
  "models": ["Qwen3.5-9B", ...], "quantizations": ["Q4_K_M", ...] }

> recommend_quantization(gpu_vram_gb=32, concurrent_users=8, model="Qwen3.5-9B", priority="balance")
{ "recommended_quantization": "Q5_K_M",
  "estimated_vram_usage_gb": 27.8,
  "estimated_tokens_per_second": 142.0,
  "headroom_gb": 4.2,
  "confidence": "high",
  "reasoning": "Q5_K_M is recommended for your NVIDIA GeForce RTX 5090 (32 GB) ...",
  "alternatives": ["Q4_K_M", "Q8_0"] }

Konfiguration

Self-Hosting (Lightsail / beliebiger Ubuntu VPS)

git clone https://github.com/paulplee/ppb-mcp /tmp/ppb-mcp
cd /tmp/ppb-mcp
DOMAIN=mcp.example.com EMAIL=you@example.com ./deploy/deploy.sh

Dies installiert Docker, baut das Image, registriert eine systemd-Unit, konfiguriert nginx und führt certbot aus.

Entwicklung

pip install -e ".[dev]"
ruff check src tests
pytest -v

Integrationstests gegen den Live-HuggingFace-Datensatz sind hinter PPB_RUN_INTEGRATION=1 geschützt, um die CI offline-fähig zu halten.

Funktionsweise der Empfehlungen

1. Stufe 1 — empirische exakte Übereinstimmung (hohes Vertrauen). ≥3 gemessene Durchläufe auf einer GPU bei oder unter Ihrem VRAM-Budget bei der angeforderten Parallelität.

2. Stufe 2 — empirische Annäherung (mittel). Dasselbe (Modell, Quantisierung) wurde auf einer anderen GPU bei gleicher Parallelität gebenchmarkt; Durchsatz übernommen, VRAM auf Ihre Karte skaliert.

3. Stufe 3 — Formel-Extrapolation (niedrig). vram_per_user ≈ (params_B × bits_per_weight / 8) × 1.15; machbar, wenn die Summe ≤ 90 % Ihres VRAMs beträgt.

Lizenz

MIT — siehe LICENSE.