llmprobe
![]()
llmprobe
Untersuchen Sie LLM-API-Endpunkte. Messen Sie TTFT, Latenz und Durchsatz. Einzelne Binärdatei, keine SDKs.
llmprobe ist ein CLI-Tool, das LLM-API-Endpunkte untersucht und die Metriken misst, die für die Zuverlässigkeit in der Produktion wichtig sind: Zeit bis zum ersten Token (TTFT), Gesamtlatenz, Generierungsdurchsatz (Token/Sek.) und Fehlerraten.
Verwenden Sie es als einmalige Gesundheitsprüfung, als kontinuierliche Überwachung oder als CI-Gate, das Bereitstellungen blockiert, wenn Ihr LLM-Anbieter beeinträchtigt ist.

Schnellstart
Laden Sie eine vorgefertigte Binärdatei von der neuesten Version herunter (Linux, macOS, Windows; amd64 und arm64).
Oder installieren Sie es aus dem Quellcode:
go install github.com/Jwrede/llmprobe@latestErstellen Sie eine probes.yml (oder kopieren Sie das beigefügte Beispiel):
providers:
- name: openai
api_key: ${OPENAI_API_KEY}
models:
- name: gpt-4o
thresholds:
max_ttft: 2s
- name: gpt-4o-mini
thresholds:
max_ttft: 500ms
- name: anthropic
api_key: ${ANTHROPIC_API_KEY}
models:
- name: claude-sonnet-4-20250514
thresholds:
max_ttft: 1sFühren Sie eine Untersuchung durch:
$ llmprobe probe
Provider Model Status TTFT Latency Tok/s Tokens Error
-------- ----- ------ ---- ------- ----- ------ -----
openai gpt-4o healthy 312ms 2100ms 68.4 42
openai gpt-4o-mini healthy 98ms 814ms 112.3 56
anthropic claude-sonnet-4-20250514 healthy 420ms 2831ms 52.1 38
azure gpt-4o healthy 289ms 1950ms 71.2 44
bedrock anthropic.claude-3-5... degraded 1820ms 4510ms 28.1 38
4 healthy, 1 degraded, 0 errorsRelated MCP server: LLM API Benchmark MCP Server
Was es misst
Metrik | Bedeutung |
TTFT | Zeit vom Senden der Anfrage bis zum ersten Inhalts-Token. Dies ist das, was Benutzer als "Verzögerung" empfinden, bevor die Antwort gestreamt wird. |
Latenz | Gesamtzeit von der Anfrage bis zum Schließen des Streams. |
Tok/s | Generierungsdurchsatz: pro Sekunde produzierte Token nach dem ersten Token. Berechnet als |
Token | Gesamtzahl der Ausgabe-Token. Bevorzugt Nutzungsmetadaten des Anbieters, falls verfügbar, andernfalls wird auf SSE-Ereigniszählung zurückgegriffen. |
Status |
|
Befehle
llmprobe probe
Einmalige Gesundheitsprüfung. Untersucht alle konfigurierten Endpunkte und gibt die Ergebnisse aus.
llmprobe probe # table output
llmprobe probe -f json # JSON output
llmprobe probe --fail-on degraded # exit 1 if any endpoint is degraded
llmprobe probe -c custom-config.yml # custom config pathExit-Codes für CI:
| Exit 0 | Exit 1 |
| healthy oder degraded | jeder Fehler |
| nur healthy | degraded oder error |
| immer | niemals |
llmprobe watch
Kontinuierliche Überwachung. Untersucht alle Endpunkte in einem Intervall und gibt pro Iteration eine Zusammenfassungszeile aus.
llmprobe watch # default 60s interval
llmprobe watch --interval 30s # custom interval
llmprobe watch --tui # live terminal dashboard with TTFT chart
llmprobe watch --tui --load data.jsonl # load historical data into the dashboard
llmprobe watch -f json # JSONL output (one line per result)Das Flag --tui startet ein Live-Terminal-Dashboard mit einem TTFT-Diagramm, einer Farblegende und einer Statistik-Tabelle. Verwenden Sie --load, um historische JSONL-Daten zu importieren (von llmprobe watch -f json > data.jsonl).

$ llmprobe watch --interval 30s
Watching 4 endpoints every 30s (Ctrl+C to stop)
[14:01:02] All 4 endpoints healthy.
[14:01:32] All 4 endpoints healthy.
[14:02:02] 3 healthy, 1 degraded, 0 errors. DEGRADED: openai/gpt-4o (TTFT 1820ms)
[14:02:32] All 4 endpoints healthy.CI-Integration
Verwenden Sie llmprobe probe als Pre-Deploy-Gate:
# .github/workflows/deploy.yml
- name: Check LLM providers
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
run: |
go install github.com/Jwrede/llmprobe@latest
llmprobe probe --fail-on degradedDies blockiert die Bereitstellung, wenn ein LLM-Anbieter derzeit eine beeinträchtigte Leistung aufweist.
MCP-Server
llmprobe enthält einen integrierten Model Context Protocol-Server, der es Claude Code und anderen MCP-Hosts ermöglicht, die LLM-API-Gesundheit direkt aus einem Agenten-Workflow zu überprüfen.
Ausführen des Servers
llmprobe mcpDies startet den MCP-Server über stdio.
Registrierung bei Claude Code
claude mcp add --transport stdio llmprobe -- llmprobe mcpNach der Registrierung kann Claude Code während jeder Konversation llmprobe-Tools aufrufen.
Verfügbare Tools
Tool | Beschreibung |
| Untersucht alle konfigurierten Endpunkte aus |
| Untersucht ein einzelnes Modell ohne Konfigurationsdatei. Erfordert |
| Listet alle Anbieter und Modelle in der Konfigurationsdatei mit ihren Schwellenwerten auf. Verwenden Sie dies, um verfügbare Modelle vor der Untersuchung zu entdecken. |
| Gibt die vollständig geparste Konfiguration zurück, einschließlich Standardwerten, Anbietern, Modellen und Schwellenwerten. |
Beispielanwendungsfall: Ein Agent ruft list_providers auf, um zu sehen, welche Modelle konfiguriert sind, und dann probe_all, um zu überprüfen, ob sie gesund sind, bevor Änderungen bereitgestellt werden.
Konfiguration
defaults:
prompt: "Hello" # probe prompt
max_tokens: 20 # max output tokens
timeout: 30s # per-probe timeout
concurrency: 5 # max parallel probes
providers:
- name: openai # openai, anthropic, google, azure, bedrock
api_key: ${OPENAI_API_KEY} # env var expansion
base_url: https://custom.api # optional, override endpoint
models:
- name: gpt-4o
prompt: "Say hello." # override default prompt
max_tokens: 10 # override default max_tokens
thresholds:
max_ttft: 2s # alert if TTFT exceeds this
max_latency: 10s # alert if total latency exceeds this
min_tokens_per_sec: 20 # alert if throughput drops below this
- name: azure
api_key: ${AZURE_OPENAI_API_KEY}
base_url: https://your-resource.openai.azure.com
api_version: "2024-10-21" # optional, defaults to 2024-10-21
models:
- name: gpt-4o # deployment name
- name: bedrock
access_key: ${AWS_ACCESS_KEY_ID}
secret_key: ${AWS_SECRET_ACCESS_KEY}
region: us-east-1
models:
- name: anthropic.claude-3-5-sonnet-20241022-v2:0API-Schlüssel und AWS-Anmeldeinformationen unterstützen die ${ENV_VAR}-Syntax. Nur Anmeldeinformationsfelder werden erweitert, sodass Verweise auf Umgebungsvariablen in Prompts oder Modellnamen unverändert bleiben.
OpenAI-kompatible Anbieter
Viele Anbieter (Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM) stellen eine OpenAI-kompatible API bereit. Diese funktionieren sofort durch Festlegen von base_url:
providers:
# Groq
- name: openai
api_key: ${GROQ_API_KEY}
base_url: https://api.groq.com/openai
models:
- name: llama-3.3-70b-versatile
# DeepSeek
- name: openai
api_key: ${DEEPSEEK_API_KEY}
base_url: https://api.deepseek.com
models:
- name: deepseek-chat
# Together AI
- name: openai
api_key: ${TOGETHER_API_KEY}
base_url: https://api.together.xyz
models:
- name: meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
# Local Ollama
- name: openai
api_key: unused
base_url: http://localhost:11434/v1
models:
- name: llama3.2Architektur
probes.yml
-> Config loader (YAML + env var expansion)
-> Probe engine (concurrent goroutines per provider/model)
-> Provider clients (raw HTTP + SSE parsing, no SDKs)
-> Results (TTFT, latency, tokens/sec, status)
-> Output (table, JSON, JSONL)Jeder Anbieter-Client ist ein schlanker HTTP-Wrapper, der eine Streaming-Anfrage sendet und die Antwort parst. Es werden keine LLM-SDKs importiert. Der SSE-Parser verarbeitet sowohl reine Datenereignisse (OpenAI, Google) als auch benannte Ereignisse (Anthropic). Der Bedrock-Client implementiert SigV4-Signierung und AWS-Binär-Event-Stream-Parsing von Grund auf.
TTFT wird von dem Moment an gemessen, in dem die HTTP-Anfrage gesendet wird, bis zum ersten Ereignis, das tatsächlichen Inhaltstext enthält (keine Rollenzuweisungen oder Metadaten).
Anbieter
Anbieter | Endpunkt | Authentifizierung | Streaming-Format |
OpenAI |
|
| SSE, |
Anthropic |
|
| benanntes Ereignis SSE |
|
| SSE | |
Azure OpenAI |
|
| SSE, |
AWS Bedrock |
| SigV4 | AWS Binär-Event-Stream |
OpenAI-kompatibel |
|
| SSE |
OpenAI-kompatibel umfasst: Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM und jeden Endpunkt, der die OpenAI-Chat-Completions-API spricht.
Live-Benchmark
llm-bench verwendet llmprobe, um einen kontinuierlichen öffentlichen Benchmark der wichtigsten LLM-APIs auszuführen. Die Ergebnisse werden als offener JSONL-Datensatz und als Live-Terminal-Dashboard unter bench.jonathanwrede.de veröffentlicht.
Roadmap
Baseline-Tracking: Speichern rollierender Perzentile, Warnung, wenn die aktuelle Untersuchung die Nx-Baseline überschreitet
OpenTelemetry-Metrikexport zur Integration mit Grafana/Datadog
Prometheus
/metrics-EndpunktValidierung strukturierter Ausgaben: Überprüfung, ob JSON-Modus-Antworten korrekt geparst werden
Lizenz
MIT
Available Tools
4 toolsget_configA
Return the full parsed configuration including defaults, providers, models, and thresholds. Useful for understanding the current probe setup or debugging configuration issues.
Inputs: config.
list_providersA
List all providers and models defined in the config file. Returns provider names, model identifiers, and any configured thresholds. Use this to discover what models are available before probing.
Inputs: config.
probe_allA
Probe all configured LLM API endpoints. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status for every model in the config file.
Inputs: config.
probe_modelA
Probe a single LLM model by provider and model name. Use this for ad-hoc checks without a config file. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status.
Inputs: provider (required), model (required), api_key_env (required), base_url, +1 more.
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 4 tools
Each tool has a distinct purpose: configuration retrieval, provider listing, bulk probing, and single model probing. No overlap.
All tool names follow a consistent verb_noun pattern (get_config, list_providers, probe_all, probe_model) with appropriate verbs.
4 tools is well-scoped for the LLM probing domain, covering necessary operations without bloat.
The tool set covers all essential probe operations: viewing config, listing providers, probing all endpoints, and probing a single endpoint, with no obvious gaps.
Maintenance
Related MCP Connectors
Heartbeat and tokens/sec monitoring for self-hosted LLM servers (Ollama etc.), with down alerts.
Heartbeat and tokens/sec monitoring for self-hosted LLM servers (Ollama etc.), with down alerts.
LLM list prices by venue and tier, plus time to first token from a once-a-minute probe
Benchmark your own prompt on 100+ LLMs with real API calls; pick the cheapest model that passes.
Related MCP Servers
- AlicenseBqualityDmaintenanceProvides a universal bridge to interact with any OpenAI-compatible LLM API (local or cloud), enabling model testing, benchmarking, quality evaluation, and chat operations with performance metrics.8MIT
- AlicenseNot gradedqualityNot gradedmaintenanceEnables benchmarking of Large Language Model APIs by measuring performance metrics such as generation throughput, prompt throughput, and Time To First Token (TTFT) with configurable concurrency levels and parameters.1MIT
- AlicenseAqualityBmaintenanceIndependent latency and uptime data for 46 hosted AI inference APIs, probed every 5 minutes from 4 regions with no gateway, plus a verified model deprecation calendar and Claude Code / Codex speed and accuracy drift. Four read-only tools, no API key; data CC BY 4.0.2412MIT
- AlicenseAqualityBmaintenanceReal-time cluster health monitoring, pre-request NLMS latency prediction, and intelligent prompt routing across multi-instance LLM backends (vLLM, Ollama, SGLang, TGI).43Apache 2.0