llmprobe
![]()
llmprobe
Зондирование конечных точек API LLM. Измерение TTFT, задержки, пропускной способности. Один бинарный файл, ноль SDK.
llmprobe — это CLI-инструмент, который зондирует конечные точки API LLM и измеряет метрики, важные для надежности в продакшене: время до первого токена (TTFT), общую задержку, пропускную способность генерации (токенов/сек) и частоту ошибок.
Используйте его для разовой проверки работоспособности, непрерывного мониторинга или в качестве CI-шлюза, который блокирует развертывание, если ваш провайдер LLM работает нестабильно.

Быстрый старт
Скачайте предварительно собранный бинарный файл из последнего релиза (Linux, macOS, Windows; amd64 и arm64).
Или установите из исходного кода:
go install github.com/Jwrede/llmprobe@latestСоздайте probes.yml (или скопируйте прилагаемый пример):
providers:
- name: openai
api_key: ${OPENAI_API_KEY}
models:
- name: gpt-4o
thresholds:
max_ttft: 2s
- name: gpt-4o-mini
thresholds:
max_ttft: 500ms
- name: anthropic
api_key: ${ANTHROPIC_API_KEY}
models:
- name: claude-sonnet-4-20250514
thresholds:
max_ttft: 1sЗапустите зонд:
$ llmprobe probe
Provider Model Status TTFT Latency Tok/s Tokens Error
-------- ----- ------ ---- ------- ----- ------ -----
openai gpt-4o healthy 312ms 2100ms 68.4 42
openai gpt-4o-mini healthy 98ms 814ms 112.3 56
anthropic claude-sonnet-4-20250514 healthy 420ms 2831ms 52.1 38
azure gpt-4o healthy 289ms 1950ms 71.2 44
bedrock anthropic.claude-3-5... degraded 1820ms 4510ms 28.1 38
4 healthy, 1 degraded, 0 errorsRelated MCP server: LLM API Benchmark MCP Server
Что он измеряет
Метрика | Что это значит |
TTFT | Время от отправки запроса до первого токена контента. Это то, что пользователи ощущают как «задержку» перед началом потоковой передачи ответа. |
Задержка | Общее время от запроса до закрытия потока. |
Ток/с | Пропускная способность генерации: количество токенов, создаваемых в секунду после первого токена. Рассчитывается как |
Токены | Общее количество выходных токенов. Предпочтение отдается метаданным использования провайдера, если они доступны, в противном случае используется подсчет событий SSE. |
Статус |
|
Команды
llmprobe probe
Разовая проверка работоспособности. Зондирует все настроенные конечные точки и выводит результаты.
llmprobe probe # table output
llmprobe probe -f json # JSON output
llmprobe probe --fail-on degraded # exit 1 if any endpoint is degraded
llmprobe probe -c custom-config.yml # custom config pathКоды выхода для CI:
| Выход 0 | Выход 1 |
| healthy или degraded | любая ошибка |
| только healthy | degraded или error |
| всегда | никогда |
llmprobe watch
Непрерывный мониторинг. Зондирует все конечные точки с заданным интервалом и выводит строку сводки для каждой итерации.
llmprobe watch # default 60s interval
llmprobe watch --interval 30s # custom interval
llmprobe watch --tui # live terminal dashboard with TTFT chart
llmprobe watch --tui --load data.jsonl # load historical data into the dashboard
llmprobe watch -f json # JSONL output (one line per result)Флаг --tui запускает интерактивную панель мониторинга в терминале с графиком TTFT, цветовой легендой и таблицей статистики. Используйте --load для импорта исторических данных JSONL (из llmprobe watch -f json > data.jsonl).

$ llmprobe watch --interval 30s
Watching 4 endpoints every 30s (Ctrl+C to stop)
[14:01:02] All 4 endpoints healthy.
[14:01:32] All 4 endpoints healthy.
[14:02:02] 3 healthy, 1 degraded, 0 errors. DEGRADED: openai/gpt-4o (TTFT 1820ms)
[14:02:32] All 4 endpoints healthy.Интеграция с CI
Используйте llmprobe probe в качестве шлюза перед развертыванием:
# .github/workflows/deploy.yml
- name: Check LLM providers
env:
OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
run: |
go install github.com/Jwrede/llmprobe@latest
llmprobe probe --fail-on degradedЭто заблокирует развертывание, если какой-либо провайдер LLM в данный момент демонстрирует сниженную производительность.
MCP-сервер
llmprobe включает встроенный сервер Model Context Protocol, позволяющий Claude Code и другим хостам MCP проверять работоспособность API LLM непосредственно из рабочего процесса агента.
Запуск сервера
llmprobe mcpЭто запускает MCP-сервер через stdio.
Регистрация в Claude Code
claude mcp add --transport stdio llmprobe -- llmprobe mcpПосле регистрации Claude Code может вызывать инструменты llmprobe во время любого разговора.
Доступные инструменты
Инструмент | Описание |
| Зондирует все настроенные конечные точки из |
| Зондирует одну модель без файла конфигурации. Требует |
| Выводит список всех провайдеров и моделей в файле конфигурации с их порогами. Используйте это для обнаружения доступных моделей перед зондированием. |
| Возвращает полную разобранную конфигурацию, включая значения по умолчанию, провайдеров, модели и пороги. |
Пример использования: Агент вызывает list_providers, чтобы увидеть, какие модели настроены, а затем probe_all, чтобы убедиться в их работоспособности перед развертыванием изменений.
Конфигурация
defaults:
prompt: "Hello" # probe prompt
max_tokens: 20 # max output tokens
timeout: 30s # per-probe timeout
concurrency: 5 # max parallel probes
providers:
- name: openai # openai, anthropic, google, azure, bedrock
api_key: ${OPENAI_API_KEY} # env var expansion
base_url: https://custom.api # optional, override endpoint
models:
- name: gpt-4o
prompt: "Say hello." # override default prompt
max_tokens: 10 # override default max_tokens
thresholds:
max_ttft: 2s # alert if TTFT exceeds this
max_latency: 10s # alert if total latency exceeds this
min_tokens_per_sec: 20 # alert if throughput drops below this
- name: azure
api_key: ${AZURE_OPENAI_API_KEY}
base_url: https://your-resource.openai.azure.com
api_version: "2024-10-21" # optional, defaults to 2024-10-21
models:
- name: gpt-4o # deployment name
- name: bedrock
access_key: ${AWS_ACCESS_KEY_ID}
secret_key: ${AWS_SECRET_ACCESS_KEY}
region: us-east-1
models:
- name: anthropic.claude-3-5-sonnet-20241022-v2:0API-ключи и учетные данные AWS поддерживают синтаксис ${ENV_VAR}. Разворачиваются только поля учетных данных, поэтому ссылки на переменные окружения в промптах или именах моделей остаются без изменений.
Провайдеры, совместимые с OpenAI
Многие провайдеры (Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM) предоставляют API, совместимый с OpenAI. Они работают «из коробки» при установке base_url:
providers:
# Groq
- name: openai
api_key: ${GROQ_API_KEY}
base_url: https://api.groq.com/openai
models:
- name: llama-3.3-70b-versatile
# DeepSeek
- name: openai
api_key: ${DEEPSEEK_API_KEY}
base_url: https://api.deepseek.com
models:
- name: deepseek-chat
# Together AI
- name: openai
api_key: ${TOGETHER_API_KEY}
base_url: https://api.together.xyz
models:
- name: meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo
# Local Ollama
- name: openai
api_key: unused
base_url: http://localhost:11434/v1
models:
- name: llama3.2Архитектура
probes.yml
-> Config loader (YAML + env var expansion)
-> Probe engine (concurrent goroutines per provider/model)
-> Provider clients (raw HTTP + SSE parsing, no SDKs)
-> Results (TTFT, latency, tokens/sec, status)
-> Output (table, JSON, JSONL)Каждый клиент провайдера — это тонкая HTTP-обертка, которая отправляет потоковый запрос и анализирует ответ. SDK LLM не импортируются. Парсер SSE обрабатывает как события только с данными (OpenAI, Google), так и именованные события (Anthropic). Клиент Bedrock реализует подпись SigV4 и парсинг бинарного потока событий AWS с нуля.
TTFT измеряется с момента отправки HTTP-запроса до первого события, содержащего фактический текстовый контент (не назначения ролей или метаданные).
Провайдеры
Провайдер | Конечная точка | Авторизация | Формат потока |
OpenAI |
|
| SSE, |
Anthropic |
|
| named-event SSE |
|
| SSE | |
Azure OpenAI |
|
| SSE, |
AWS Bedrock |
| SigV4 | AWS binary event stream |
OpenAI-compat |
|
| SSE |
Совместимость с OpenAI охватывает: Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM и любую конечную точку, поддерживающую API чат-комплитов OpenAI.
Живой бенчмарк
llm-bench использует llmprobe для проведения непрерывного публичного бенчмарка основных API LLM. Результаты публикуются в виде открытого набора данных JSONL и интерактивной панели мониторинга в терминале на bench.jonathanwrede.de.
Дорожная карта
Отслеживание базовых показателей: хранение скользящих перцентилей, оповещение, когда текущий зонд превышает базовый уровень Nx
Экспорт метрик OpenTelemetry для интеграции с Grafana/Datadog
Конечная точка Prometheus
/metricsВалидация структурированного вывода: проверка корректности парсинга ответов в режиме JSON
Лицензия
MIT
Available Tools
4 toolsget_configA
Return the full parsed configuration including defaults, providers, models, and thresholds. Useful for understanding the current probe setup or debugging configuration issues.
Inputs: config.
list_providersA
List all providers and models defined in the config file. Returns provider names, model identifiers, and any configured thresholds. Use this to discover what models are available before probing.
Inputs: config.
probe_allA
Probe all configured LLM API endpoints. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status for every model in the config file.
Inputs: config.
probe_modelA
Probe a single LLM model by provider and model name. Use this for ad-hoc checks without a config file. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status.
Inputs: provider (required), model (required), api_key_env (required), base_url, +1 more.
Tool Schema Changelog
Recent tool additions, removals, and schema changes observed during successful MCP inspections.
Loading tool schema changelog…
TDQS
Scored across 4 tools
Each tool has a distinct purpose: configuration retrieval, provider listing, bulk probing, and single model probing. No overlap.
All tool names follow a consistent verb_noun pattern (get_config, list_providers, probe_all, probe_model) with appropriate verbs.
4 tools is well-scoped for the LLM probing domain, covering necessary operations without bloat.
The tool set covers all essential probe operations: viewing config, listing providers, probing all endpoints, and probing a single endpoint, with no obvious gaps.
Maintenance
Related MCP Connectors
Heartbeat and tokens/sec monitoring for self-hosted LLM servers (Ollama etc.), with down alerts.
Heartbeat and tokens/sec monitoring for self-hosted LLM servers (Ollama etc.), with down alerts.
LLM list prices by venue and tier, plus time to first token from a once-a-minute probe
Benchmark your own prompt on 100+ LLMs with real API calls; pick the cheapest model that passes.
Related MCP Servers
- AlicenseBqualityDmaintenanceProvides a universal bridge to interact with any OpenAI-compatible LLM API (local or cloud), enabling model testing, benchmarking, quality evaluation, and chat operations with performance metrics.8MIT
- AlicenseNot gradedqualityNot gradedmaintenanceEnables benchmarking of Large Language Model APIs by measuring performance metrics such as generation throughput, prompt throughput, and Time To First Token (TTFT) with configurable concurrency levels and parameters.1MIT
- AlicenseAqualityBmaintenanceIndependent latency and uptime data for 46 hosted AI inference APIs, probed every 5 minutes from 4 regions with no gateway, plus a verified model deprecation calendar and Claude Code / Codex speed and accuracy drift. Four read-only tools, no API key; data CC BY 4.0.2412MIT
- AlicenseAqualityBmaintenanceReal-time cluster health monitoring, pre-request NLMS latency prediction, and intelligent prompt routing across multi-instance LLM backends (vLLM, Ollama, SGLang, TGI).43Apache 2.0