Skip to main content
Glama

llmprobe

llmprobe

Untersuchen Sie LLM-API-Endpunkte. Messen Sie TTFT, Latenz und Durchsatz. Einzelne Binärdatei, keine SDKs.

CI Go License: MIT llmprobe MCP server

llmprobe ist ein CLI-Tool, das LLM-API-Endpunkte untersucht und die Metriken misst, die für die Zuverlässigkeit in der Produktion wichtig sind: Zeit bis zum ersten Token (TTFT), Gesamtlatenz, Generierungsdurchsatz (Token/Sek.) und Fehlerraten.

Verwenden Sie es als einmalige Gesundheitsprüfung, als kontinuierliche Überwachung oder als CI-Gate, das Bereitstellungen blockiert, wenn Ihr LLM-Anbieter beeinträchtigt ist.

demo

Schnellstart

Laden Sie eine vorgefertigte Binärdatei von der neuesten Version herunter (Linux, macOS, Windows; amd64 und arm64).

Oder installieren Sie es aus dem Quellcode:

go install github.com/Jwrede/llmprobe@latest

Erstellen Sie eine probes.yml (oder kopieren Sie das beigefügte Beispiel):

providers:
  - name: openai
    api_key: ${OPENAI_API_KEY}
    models:
      - name: gpt-4o
        thresholds:
          max_ttft: 2s
      - name: gpt-4o-mini
        thresholds:
          max_ttft: 500ms

  - name: anthropic
    api_key: ${ANTHROPIC_API_KEY}
    models:
      - name: claude-sonnet-4-20250514
        thresholds:
          max_ttft: 1s

Führen Sie eine Untersuchung durch:

$ llmprobe probe

Provider   Model                    Status    TTFT    Latency  Tok/s  Tokens  Error
--------   -----                    ------    ----    -------  -----  ------  -----
openai     gpt-4o                   healthy   312ms   2100ms   68.4   42
openai     gpt-4o-mini              healthy   98ms    814ms    112.3  56
anthropic  claude-sonnet-4-20250514 healthy   420ms   2831ms   52.1   38
azure      gpt-4o                   healthy   289ms   1950ms   71.2   44
bedrock    anthropic.claude-3-5...  degraded  1820ms  4510ms   28.1   38

4 healthy, 1 degraded, 0 errors

Related MCP server: LLM API Benchmark MCP Server

Was es misst

Metrik

Bedeutung

TTFT

Zeit vom Senden der Anfrage bis zum ersten Inhalts-Token. Dies ist das, was Benutzer als "Verzögerung" empfinden, bevor die Antwort gestreamt wird.

Latenz

Gesamtzeit von der Anfrage bis zum Schließen des Streams.

Tok/s

Generierungsdurchsatz: pro Sekunde produzierte Token nach dem ersten Token. Berechnet als token_count / (latency - ttft).

Token

Gesamtzahl der Ausgabe-Token. Bevorzugt Nutzungsmetadaten des Anbieters, falls verfügbar, andernfalls wird auf SSE-Ereigniszählung zurückgegriffen.

Status

healthy, wenn alle Schwellenwerte eingehalten werden, degraded, wenn ein Schwellenwert überschritten wird, error, wenn die Anfrage fehlgeschlagen ist.

Befehle

llmprobe probe

Einmalige Gesundheitsprüfung. Untersucht alle konfigurierten Endpunkte und gibt die Ergebnisse aus.

llmprobe probe                        # table output
llmprobe probe -f json                # JSON output
llmprobe probe --fail-on degraded     # exit 1 if any endpoint is degraded
llmprobe probe -c custom-config.yml   # custom config path

Exit-Codes für CI:

--fail-on

Exit 0

Exit 1

error (Standard)

healthy oder degraded

jeder Fehler

degraded

nur healthy

degraded oder error

none

immer

niemals

llmprobe watch

Kontinuierliche Überwachung. Untersucht alle Endpunkte in einem Intervall und gibt pro Iteration eine Zusammenfassungszeile aus.

llmprobe watch                          # default 60s interval
llmprobe watch --interval 30s           # custom interval
llmprobe watch --tui                    # live terminal dashboard with TTFT chart
llmprobe watch --tui --load data.jsonl  # load historical data into the dashboard
llmprobe watch -f json                  # JSONL output (one line per result)

Das Flag --tui startet ein Live-Terminal-Dashboard mit einem TTFT-Diagramm, einer Farblegende und einer Statistik-Tabelle. Verwenden Sie --load, um historische JSONL-Daten zu importieren (von llmprobe watch -f json > data.jsonl).

llmprobe

$ llmprobe watch --interval 30s

Watching 4 endpoints every 30s (Ctrl+C to stop)

[14:01:02] All 4 endpoints healthy.
[14:01:32] All 4 endpoints healthy.
[14:02:02] 3 healthy, 1 degraded, 0 errors. DEGRADED: openai/gpt-4o (TTFT 1820ms)
[14:02:32] All 4 endpoints healthy.

CI-Integration

Verwenden Sie llmprobe probe als Pre-Deploy-Gate:

# .github/workflows/deploy.yml
- name: Check LLM providers
  env:
    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
    ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
  run: |
    go install github.com/Jwrede/llmprobe@latest
    llmprobe probe --fail-on degraded

Dies blockiert die Bereitstellung, wenn ein LLM-Anbieter derzeit eine beeinträchtigte Leistung aufweist.

MCP-Server

llmprobe MCP server

llmprobe enthält einen integrierten Model Context Protocol-Server, der es Claude Code und anderen MCP-Hosts ermöglicht, die LLM-API-Gesundheit direkt aus einem Agenten-Workflow zu überprüfen.

Ausführen des Servers

llmprobe mcp

Dies startet den MCP-Server über stdio.

Registrierung bei Claude Code

claude mcp add --transport stdio llmprobe -- llmprobe mcp

Nach der Registrierung kann Claude Code während jeder Konversation llmprobe-Tools aufrufen.

Verfügbare Tools

Tool

Beschreibung

probe_all

Untersucht alle konfigurierten Endpunkte aus probes.yml. Gibt TTFT, Latenz, Durchsatz und Gesundheitsstatus für jedes Modell zurück. Akzeptiert einen optionalen config-Parameter für einen benutzerdefinierten Konfigurationspfad.

probe_model

Untersucht ein einzelnes Modell ohne Konfigurationsdatei. Erfordert provider (openai, anthropic, google, azure, bedrock), model (die Modellkennung) und api_key_env (Umgebungsvariable, die den API-Schlüssel enthält).

list_providers

Listet alle Anbieter und Modelle in der Konfigurationsdatei mit ihren Schwellenwerten auf. Verwenden Sie dies, um verfügbare Modelle vor der Untersuchung zu entdecken.

get_config

Gibt die vollständig geparste Konfiguration zurück, einschließlich Standardwerten, Anbietern, Modellen und Schwellenwerten.

Beispielanwendungsfall: Ein Agent ruft list_providers auf, um zu sehen, welche Modelle konfiguriert sind, und dann probe_all, um zu überprüfen, ob sie gesund sind, bevor Änderungen bereitgestellt werden.

Konfiguration

defaults:
  prompt: "Hello"                                # probe prompt
  max_tokens: 20                                 # max output tokens
  timeout: 30s                                   # per-probe timeout
  concurrency: 5                                 # max parallel probes

providers:
  - name: openai                    # openai, anthropic, google, azure, bedrock
    api_key: ${OPENAI_API_KEY}      # env var expansion
    base_url: https://custom.api    # optional, override endpoint
    models:
      - name: gpt-4o
        prompt: "Say hello."        # override default prompt
        max_tokens: 10              # override default max_tokens
        thresholds:
          max_ttft: 2s              # alert if TTFT exceeds this
          max_latency: 10s          # alert if total latency exceeds this
          min_tokens_per_sec: 20    # alert if throughput drops below this

  - name: azure
    api_key: ${AZURE_OPENAI_API_KEY}
    base_url: https://your-resource.openai.azure.com
    api_version: "2024-10-21"       # optional, defaults to 2024-10-21
    models:
      - name: gpt-4o               # deployment name

  - name: bedrock
    access_key: ${AWS_ACCESS_KEY_ID}
    secret_key: ${AWS_SECRET_ACCESS_KEY}
    region: us-east-1
    models:
      - name: anthropic.claude-3-5-sonnet-20241022-v2:0

API-Schlüssel und AWS-Anmeldeinformationen unterstützen die ${ENV_VAR}-Syntax. Nur Anmeldeinformationsfelder werden erweitert, sodass Verweise auf Umgebungsvariablen in Prompts oder Modellnamen unverändert bleiben.

OpenAI-kompatible Anbieter

Viele Anbieter (Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM) stellen eine OpenAI-kompatible API bereit. Diese funktionieren sofort durch Festlegen von base_url:

providers:
  # Groq
  - name: openai
    api_key: ${GROQ_API_KEY}
    base_url: https://api.groq.com/openai
    models:
      - name: llama-3.3-70b-versatile

  # DeepSeek
  - name: openai
    api_key: ${DEEPSEEK_API_KEY}
    base_url: https://api.deepseek.com
    models:
      - name: deepseek-chat

  # Together AI
  - name: openai
    api_key: ${TOGETHER_API_KEY}
    base_url: https://api.together.xyz
    models:
      - name: meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo

  # Local Ollama
  - name: openai
    api_key: unused
    base_url: http://localhost:11434/v1
    models:
      - name: llama3.2

Architektur

probes.yml
  -> Config loader (YAML + env var expansion)
    -> Probe engine (concurrent goroutines per provider/model)
      -> Provider clients (raw HTTP + SSE parsing, no SDKs)
        -> Results (TTFT, latency, tokens/sec, status)
          -> Output (table, JSON, JSONL)

Jeder Anbieter-Client ist ein schlanker HTTP-Wrapper, der eine Streaming-Anfrage sendet und die Antwort parst. Es werden keine LLM-SDKs importiert. Der SSE-Parser verarbeitet sowohl reine Datenereignisse (OpenAI, Google) als auch benannte Ereignisse (Anthropic). Der Bedrock-Client implementiert SigV4-Signierung und AWS-Binär-Event-Stream-Parsing von Grund auf.

TTFT wird von dem Moment an gemessen, in dem die HTTP-Anfrage gesendet wird, bis zum ersten Ereignis, das tatsächlichen Inhaltstext enthält (keine Rollenzuweisungen oder Metadaten).

Anbieter

Anbieter

Endpunkt

Authentifizierung

Streaming-Format

OpenAI

/v1/chat/completions

Authorization: Bearer

SSE, [DONE] Sentinel

Anthropic

/v1/messages

x-api-key Header

benanntes Ereignis SSE

Google

/v1beta/models/{model}:streamGenerateContent?alt=sse

key Abfrageparameter

SSE

Azure OpenAI

/openai/deployments/{model}/chat/completions

api-key Header

SSE, [DONE] Sentinel

AWS Bedrock

/model/{model}/converse-stream

SigV4

AWS Binär-Event-Stream

OpenAI-kompatibel

/v1/chat/completions (benutzerdefinierte base_url)

Authorization: Bearer

SSE

OpenAI-kompatibel umfasst: Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM und jeden Endpunkt, der die OpenAI-Chat-Completions-API spricht.

Live-Benchmark

llm-bench verwendet llmprobe, um einen kontinuierlichen öffentlichen Benchmark der wichtigsten LLM-APIs auszuführen. Die Ergebnisse werden als offener JSONL-Datensatz und als Live-Terminal-Dashboard unter bench.jonathanwrede.de veröffentlicht.

Roadmap

  • Baseline-Tracking: Speichern rollierender Perzentile, Warnung, wenn die aktuelle Untersuchung die Nx-Baseline überschreitet

  • OpenTelemetry-Metrikexport zur Integration mit Grafana/Datadog

  • Prometheus /metrics-Endpunkt

  • Validierung strukturierter Ausgaben: Überprüfung, ob JSON-Modus-Antworten korrekt geparst werden

Lizenz

MIT

Available Tools

4 tools
get_configA

Return the full parsed configuration including defaults, providers, models, and thresholds. Useful for understanding the current probe setup or debugging configuration issues.

Inputs: config.

list_providersA

List all providers and models defined in the config file. Returns provider names, model identifiers, and any configured thresholds. Use this to discover what models are available before probing.

Inputs: config.

probe_allA

Probe all configured LLM API endpoints. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status for every model in the config file.

Inputs: config.

probe_modelA

Probe a single LLM model by provider and model name. Use this for ad-hoc checks without a config file. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status.

Inputs: provider (required), model (required), api_key_env (required), base_url, +1 more.

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A4.3/5.0

    Scored across 4 tools

    Disambiguation5/5

    Each tool has a distinct purpose: configuration retrieval, provider listing, bulk probing, and single model probing. No overlap.

    Naming Consistency5/5

    All tool names follow a consistent verb_noun pattern (get_config, list_providers, probe_all, probe_model) with appropriate verbs.

    Tool Count5/5

    4 tools is well-scoped for the LLM probing domain, covering necessary operations without bloat.

    Completeness5/5

    The tool set covers all essential probe operations: viewing config, listing providers, probing all endpoints, and probing a single endpoint, with no obvious gaps.

    Maintenance

    ActivityNo data
    ResponsivenessOutdated data

    Related MCP Connectors

    Related MCP Servers