llmprobe
![]()
llmprobe
LLM API 엔드포인트를 프로빙합니다. TTFT, 지연 시간, 처리량을 측정합니다. 단일 바이너리, SDK 없음.
llmprobe는 LLM API 엔드포인트를 프로빙하고 프로덕션 안정성에 중요한 지표인 첫 토큰까지의 시간(TTFT), 총 지연 시간, 생성 처리량(토큰/초) 및 오류율을 측정하는 CLI 도구입니다.
일회성 상태 점검, 지속적인 모니터링 또는 LLM 제공업체의 성능이 저하되었을 때 배포를 차단하는 CI 게이트로 사용하세요.

빠른 시작
최신 릴리스에서 사전 빌드된 바이너리를 다운로드하세요 (Linux, macOS, Windows; amd64 및 arm64).
또는 소스에서 설치하세요:
go install github.com/Jwrede/llmprobe@latestprobes.yml을 생성하세요(또는 포함된 예제를 복사하세요):
providers:
- name: openai
api_key: ${OPENAI_API_KEY}
models:
- name: gpt-4o
thresholds:
max_ttft: 2s
- name: gpt-4o-mini
thresholds:
max_ttft: 500ms
- name: anthropic
api_key: ${ANTHROPIC_API_KEY}
models:
- name: claude-sonnet-4-20250514
thresholds:
max_ttft: 1s프로브를 실행하세요:
$ llmprobe probe
Provider Model Status TTFT Latency Tok/s Tokens Error
-------- ----- ------ ---- ------- ----- ------ -----
openai gpt-4o healthy 312ms 2100ms 68.4 42
openai gpt-4o-mini healthy 98ms 814ms 112.3 56
anthropic claude-sonnet-4-20250514 healthy 420ms 2831ms 52.1 38
azure gpt-4o healthy 289ms 1950ms 71.2 44
bedrock anthropic.claude-3-5... degraded 1820ms 4510ms 28.1 38
4 healthy, 1 degraded, 0 errorsRelated MCP server: LLM API Benchmark MCP Server
측정 항목
지표 | 의미 |
TTFT | 요청 전송부터 첫 번째 콘텐츠 토큰까지의 시간입니다. 사용자가 응답 스트리밍이 시작되기 전 느끼는 "지연"입니다. |
Latency | 요청부터 스트림 종료까지의 총 시간입니다. |
Tok/s | 생성 처리량: 첫 번째 토큰 이후 초당 생성된 토큰 수입니다. |
Tokens | 총 출력 토큰 수입니다. 제공업체 사용량 메타데이터를 우선 사용하며, 없을 경우 SSE 이벤트 카운팅을 사용합니다. |
Status | 모든 임계값을 통과하면 |
명령어
llmprobe probe
일회성 상태 점검입니다. 구성된 모든 엔드포인트를 프로빙하고 결과를 출력합니다.
llmprobe probe # table output
llmprobe probe -f json # JSON output
llmprobe probe --fail-on degraded # exit 1 if any endpoint is degraded
llmprobe probe -c custom-config.yml # custom config pathCI를 위한 종료 코드:
| 종료 0 | 종료 1 |
| healthy 또는 degraded | 모든 오류 |
| healthy만 | degraded 또는 error |
| 항상 | 절대 없음 |
llmprobe watch
지속적인 모니터링입니다. 일정 간격으로 모든 엔드포인트를 프로빙하고 반복마다 요약 라인을 출력합니다.
llmprobe watch # default 60s interval
llmprobe watch --interval 30s # custom interval
llmprobe watch --tui # live terminal dashboard with TTFT chart
llmprobe watch --tui --load data.jsonl # load historical data into the dashboard
llmprobe watch -f json # JSONL output (one line per result)--tui 플래그는 TTFT 차트, 색상 범례 및 통계 테이블이 포함된 실시간 터미널 대시보드를 실행합니다. --load를 사용하여 과거 JSONL 데이터(llmprobe watch -f json > data.jsonl에서 생성)를 가져올 수 있습니다.

$ llmprobe watch --interval 30s
Watching 4 endpoints every 30s (Ctrl+C to stop)
[14:01:02] All 4 endpoints healthy.
[14:01:32] All 4 endpoints healthy.
[14:02:02] 3 healthy, 1 degraded, 0 errors. DEGRADED: openai/gpt-4o (TTFT 1820ms)
[14:02:32] All 4 endpoints healthy.CI 통합
llmprobe probe를 배포 전 게이트로 사용하세요:
# .github/workflows/deploy.yml
- name: Check LLM providers
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
run: |
go install github.com/Jwrede/llmprobe@latest
llmprobe probe --fail-on degraded이는 현재 LLM 제공업체의 성능이 저하된 경우 배포를 차단합니다.
MCP 서버
llmprobe에는 내장된 Model Context Protocol 서버가 포함되어 있어, Claude Code 및 기타 MCP 호스트가 에이전트 워크플로우에서 직접 LLM API 상태를 확인할 수 있습니다.
서버 실행
llmprobe mcpstdio를 통해 MCP 서버를 시작합니다.
Claude Code에 등록
claude mcp add --transport stdio llmprobe -- llmprobe mcp등록이 완료되면 Claude Code는 대화 중에 llmprobe 도구를 호출할 수 있습니다.
사용 가능한 도구
도구 | 설명 |
|
|
| 구성 파일 없이 단일 모델을 프로빙합니다. |
| 구성 파일의 모든 제공업체와 모델을 임계값과 함께 나열합니다. 프로빙 전 사용 가능한 모델을 확인하는 데 사용하세요. |
| 기본값, 제공업체, 모델 및 임계값을 포함하여 완전히 파싱된 구성을 반환합니다. |
사용 예시: 에이전트가 list_providers를 호출하여 구성된 모델을 확인한 다음, probe_all을 호출하여 변경 사항을 배포하기 전에 상태가 정상인지 확인합니다.
구성
defaults:
prompt: "Hello" # probe prompt
max_tokens: 20 # max output tokens
timeout: 30s # per-probe timeout
concurrency: 5 # max parallel probes
providers:
- name: openai # openai, anthropic, google, azure, bedrock
api_key: ${OPENAI_API_KEY} # env var expansion
base_url: https://custom.api # optional, override endpoint
models:
- name: gpt-4o
prompt: "Say hello." # override default prompt
max_tokens: 10 # override default max_tokens
thresholds:
max_ttft: 2s # alert if TTFT exceeds this
max_latency: 10s # alert if total latency exceeds this
min_tokens_per_sec: 20 # alert if throughput drops below this
- name: azure
api_key: ${AZURE_OPENAI_API_KEY}
base_url: https://your-resource.openai.azure.com
api_version: "2024-10-21" # optional, defaults to 2024-10-21
models:
- name: gpt-4o # deployment name
- name: bedrock
access_key: ${AWS_ACCESS_KEY_ID}
secret_key: ${AWS_SECRET_ACCESS_KEY}
region: us-east-1
models:
- name: anthropic.claude-3-5-sonnet-20241022-v2:0API 키와 AWS 자격 증명은 ${ENV_VAR} 구문을 지원합니다. 자격 증명 필드만 확장되므로 프롬프트나 모델 이름의 환경 변수 참조는 그대로 유지됩니다.
OpenAI 호환 제공업체
많은 제공업체(Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM)는 OpenAI 호환 API를 노출합니다. base_url을 설정하면 즉시 작동합니다:
providers:
# Groq
- name: openai
api_key: ${GROQ_API_KEY}
base_url: https://api.groq.com/openai
models:
- name: llama-3.3-70b-versatile
# DeepSeek
- name: openai
api_key: ${DEEPSEEK_API_KEY}
base_url: https://api.deepseek.com
models:
- name: deepseek-chat
# Together AI
- name: openai
api_key: ${TOGETHER_API_KEY}
base_url: https://api.together.xyz
models:
- name: meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
# Local Ollama
- name: openai
api_key: unused
base_url: http://localhost:11434/v1
models:
- name: llama3.2아키텍처
probes.yml
-> Config loader (YAML + env var expansion)
-> Probe engine (concurrent goroutines per provider/model)
-> Provider clients (raw HTTP + SSE parsing, no SDKs)
-> Results (TTFT, latency, tokens/sec, status)
-> Output (table, JSON, JSONL)각 제공업체 클라이언트는 스트리밍 요청을 보내고 응답을 파싱하는 가벼운 HTTP 래퍼입니다. LLM SDK는 가져오지 않습니다. SSE 파서는 데이터 전용 이벤트(OpenAI, Google)와 명명된 이벤트(Anthropic)를 모두 처리합니다. Bedrock 클라이언트는 SigV4 서명과 AWS 바이너리 이벤트 스트림 파싱을 처음부터 구현합니다.
TTFT는 HTTP 요청이 전송된 순간부터 실제 콘텐츠 텍스트(역할 할당이나 메타데이터가 아닌)를 포함하는 첫 번째 이벤트까지 측정됩니다.
제공업체
제공업체 | 엔드포인트 | 인증 | 스트리밍 형식 |
OpenAI |
|
| SSE, |
Anthropic |
|
| 명명된 이벤트 SSE |
|
| SSE | |
Azure OpenAI |
|
| SSE, |
AWS Bedrock |
| SigV4 | AWS 바이너리 이벤트 스트림 |
OpenAI-compat |
|
| SSE |
OpenAI 호환에는 Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM 및 OpenAI 채팅 완료 API를 사용하는 모든 엔드포인트가 포함됩니다.
실시간 벤치마크
llm-bench는 llmprobe를 사용하여 주요 LLM API의 지속적인 공개 벤치마크를 실행합니다. 결과는 오픈 JSONL 데이터 세트로 게시되며 bench.jonathanwrede.de에서 실시간 터미널 대시보드로 확인할 수 있습니다.
로드맵
기준 추적: 롤링 백분위수 저장, 현재 프로브가 Nx 기준을 초과할 때 알림
Grafana/Datadog 통합을 위한 OpenTelemetry 메트릭 내보내기
Prometheus
/metrics엔드포인트구조화된 출력 검증: JSON 모드 응답이 올바르게 파싱되는지 확인
라이선스
MIT
Available Tools
4 toolsget_configA
Return the full parsed configuration including defaults, providers, models, and thresholds. Useful for understanding the current probe setup or debugging configuration issues.
Inputs: config.
list_providersA
List all providers and models defined in the config file. Returns provider names, model identifiers, and any configured thresholds. Use this to discover what models are available before probing.
Inputs: config.
probe_allA
Probe all configured LLM API endpoints. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status for every model in the config file.
Inputs: config.
probe_modelA
Probe a single LLM model by provider and model name. Use this for ad-hoc checks without a config file. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status.
Inputs: provider (required), model (required), api_key_env (required), base_url, +1 more.
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 4 tools
Each tool has a distinct purpose: configuration retrieval, provider listing, bulk probing, and single model probing. No overlap.
All tool names follow a consistent verb_noun pattern (get_config, list_providers, probe_all, probe_model) with appropriate verbs.
4 tools is well-scoped for the LLM probing domain, covering necessary operations without bloat.
The tool set covers all essential probe operations: viewing config, listing providers, probing all endpoints, and probing a single endpoint, with no obvious gaps.
Maintenance
Related MCP Connectors
Heartbeat and tokens/sec monitoring for self-hosted LLM servers (Ollama etc.), with down alerts.
Heartbeat and tokens/sec monitoring for self-hosted LLM servers (Ollama etc.), with down alerts.
LLM list prices by venue and tier, plus time to first token from a once-a-minute probe
Benchmark your own prompt on 100+ LLMs with real API calls; pick the cheapest model that passes.
Related MCP Servers
- AlicenseBqualityDmaintenanceProvides a universal bridge to interact with any OpenAI-compatible LLM API (local or cloud), enabling model testing, benchmarking, quality evaluation, and chat operations with performance metrics.8MIT
- AlicenseNot gradedqualityNot gradedmaintenanceEnables benchmarking of Large Language Model APIs by measuring performance metrics such as generation throughput, prompt throughput, and Time To First Token (TTFT) with configurable concurrency levels and parameters.1MIT
- AlicenseAqualityBmaintenanceIndependent latency and uptime data for 46 hosted AI inference APIs, probed every 5 minutes from 4 regions with no gateway, plus a verified model deprecation calendar and Claude Code / Codex speed and accuracy drift. Four read-only tools, no API key; data CC BY 4.0.2412MIT
- AlicenseAqualityBmaintenanceReal-time cluster health monitoring, pre-request NLMS latency prediction, and intelligent prompt routing across multi-instance LLM backends (vLLM, Ollama, SGLang, TGI).43Apache 2.0