Skip to main content
Glama

llmprobe

llmprobe

Зондирование конечных точек API LLM. Измерение TTFT, задержки, пропускной способности. Один бинарный файл, ноль SDK.

CI Go License: MIT llmprobe MCP server

llmprobe — это CLI-инструмент, который зондирует конечные точки API LLM и измеряет метрики, важные для надежности в продакшене: время до первого токена (TTFT), общую задержку, пропускную способность генерации (токенов/сек) и частоту ошибок.

Используйте его для разовой проверки работоспособности, непрерывного мониторинга или в качестве CI-шлюза, который блокирует развертывание, если ваш провайдер LLM работает нестабильно.

demo

Быстрый старт

Скачайте предварительно собранный бинарный файл из последнего релиза (Linux, macOS, Windows; amd64 и arm64).

Или установите из исходного кода:

go install github.com/Jwrede/llmprobe@latest

Создайте probes.yml (или скопируйте прилагаемый пример):

providers:
  - name: openai
    api_key: ${OPENAI_API_KEY}
    models:
      - name: gpt-4o
        thresholds:
          max_ttft: 2s
      - name: gpt-4o-mini
        thresholds:
          max_ttft: 500ms

  - name: anthropic
    api_key: ${ANTHROPIC_API_KEY}
    models:
      - name: claude-sonnet-4-20250514
        thresholds:
          max_ttft: 1s

Запустите зонд:

$ llmprobe probe

Provider   Model                    Status    TTFT    Latency  Tok/s  Tokens  Error
--------   -----                    ------    ----    -------  -----  ------  -----
openai     gpt-4o                   healthy   312ms   2100ms   68.4   42
openai     gpt-4o-mini              healthy   98ms    814ms    112.3  56
anthropic  claude-sonnet-4-20250514 healthy   420ms   2831ms   52.1   38
azure      gpt-4o                   healthy   289ms   1950ms   71.2   44
bedrock    anthropic.claude-3-5...  degraded  1820ms  4510ms   28.1   38

4 healthy, 1 degraded, 0 errors

Related MCP server: LLM API Benchmark MCP Server

Что он измеряет

Метрика

Что это значит

TTFT

Время от отправки запроса до первого токена контента. Это то, что пользователи ощущают как «задержку» перед началом потоковой передачи ответа.

Задержка

Общее время от запроса до закрытия потока.

Ток/с

Пропускная способность генерации: количество токенов, создаваемых в секунду после первого токена. Рассчитывается как token_count / (latency - ttft).

Токены

Общее количество выходных токенов. Предпочтение отдается метаданным использования провайдера, если они доступны, в противном случае используется подсчет событий SSE.

Статус

healthy (здоров), если все пороги пройдены, degraded (деградировал), если превышен любой порог, error (ошибка), если запрос не удался.

Команды

llmprobe probe

Разовая проверка работоспособности. Зондирует все настроенные конечные точки и выводит результаты.

llmprobe probe                        # table output
llmprobe probe -f json                # JSON output
llmprobe probe --fail-on degraded     # exit 1 if any endpoint is degraded
llmprobe probe -c custom-config.yml   # custom config path

Коды выхода для CI:

--fail-on

Выход 0

Выход 1

error (по умолчанию)

healthy или degraded

любая ошибка

degraded

только healthy

degraded или error

none

всегда

никогда

llmprobe watch

Непрерывный мониторинг. Зондирует все конечные точки с заданным интервалом и выводит строку сводки для каждой итерации.

llmprobe watch                          # default 60s interval
llmprobe watch --interval 30s           # custom interval
llmprobe watch --tui                    # live terminal dashboard with TTFT chart
llmprobe watch --tui --load data.jsonl  # load historical data into the dashboard
llmprobe watch -f json                  # JSONL output (one line per result)

Флаг --tui запускает интерактивную панель мониторинга в терминале с графиком TTFT, цветовой легендой и таблицей статистики. Используйте --load для импорта исторических данных JSONL (из llmprobe watch -f json > data.jsonl).

llmprobe

$ llmprobe watch --interval 30s

Watching 4 endpoints every 30s (Ctrl+C to stop)

[14:01:02] All 4 endpoints healthy.
[14:01:32] All 4 endpoints healthy.
[14:02:02] 3 healthy, 1 degraded, 0 errors. DEGRADED: openai/gpt-4o (TTFT 1820ms)
[14:02:32] All 4 endpoints healthy.

Интеграция с CI

Используйте llmprobe probe в качестве шлюза перед развертыванием:

# .github/workflows/deploy.yml
- name: Check LLM providers
  env:
    OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
    ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
  run: |
    go install github.com/Jwrede/llmprobe@latest
    llmprobe probe --fail-on degraded

Это заблокирует развертывание, если какой-либо провайдер LLM в данный момент демонстрирует сниженную производительность.

MCP-сервер

llmprobe MCP server

llmprobe включает встроенный сервер Model Context Protocol, позволяющий Claude Code и другим хостам MCP проверять работоспособность API LLM непосредственно из рабочего процесса агента.

Запуск сервера

llmprobe mcp

Это запускает MCP-сервер через stdio.

Регистрация в Claude Code

claude mcp add --transport stdio llmprobe -- llmprobe mcp

После регистрации Claude Code может вызывать инструменты llmprobe во время любого разговора.

Доступные инструменты

Инструмент

Описание

probe_all

Зондирует все настроенные конечные точки из probes.yml. Возвращает TTFT, задержку, пропускную способность и статус работоспособности для каждой модели. Принимает необязательный параметр config для указания пути к пользовательскому конфигу.

probe_model

Зондирует одну модель без файла конфигурации. Требует provider (openai, anthropic, google, azure, bedrock), model (идентификатор модели) и api_key_env (переменная окружения, содержащая API-ключ).

list_providers

Выводит список всех провайдеров и моделей в файле конфигурации с их порогами. Используйте это для обнаружения доступных моделей перед зондированием.

get_config

Возвращает полную разобранную конфигурацию, включая значения по умолчанию, провайдеров, модели и пороги.

Пример использования: Агент вызывает list_providers, чтобы увидеть, какие модели настроены, а затем probe_all, чтобы убедиться в их работоспособности перед развертыванием изменений.

Конфигурация

defaults:
  prompt: "Hello"                                # probe prompt
  max_tokens: 20                                 # max output tokens
  timeout: 30s                                   # per-probe timeout
  concurrency: 5                                 # max parallel probes

providers:
  - name: openai                    # openai, anthropic, google, azure, bedrock
    api_key: ${OPENAI_API_KEY}      # env var expansion
    base_url: https://custom.api    # optional, override endpoint
    models:
      - name: gpt-4o
        prompt: "Say hello."        # override default prompt
        max_tokens: 10              # override default max_tokens
        thresholds:
          max_ttft: 2s              # alert if TTFT exceeds this
          max_latency: 10s          # alert if total latency exceeds this
          min_tokens_per_sec: 20    # alert if throughput drops below this

  - name: azure
    api_key: ${AZURE_OPENAI_API_KEY}
    base_url: https://your-resource.openai.azure.com
    api_version: "2024-10-21"       # optional, defaults to 2024-10-21
    models:
      - name: gpt-4o               # deployment name

  - name: bedrock
    access_key: ${AWS_ACCESS_KEY_ID}
    secret_key: ${AWS_SECRET_ACCESS_KEY}
    region: us-east-1
    models:
      - name: anthropic.claude-3-5-sonnet-20241022-v2:0

API-ключи и учетные данные AWS поддерживают синтаксис ${ENV_VAR}. Разворачиваются только поля учетных данных, поэтому ссылки на переменные окружения в промптах или именах моделей остаются без изменений.

Провайдеры, совместимые с OpenAI

Многие провайдеры (Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM) предоставляют API, совместимый с OpenAI. Они работают «из коробки» при установке base_url:

providers:
  # Groq
  - name: openai
    api_key: ${GROQ_API_KEY}
    base_url: https://api.groq.com/openai
    models:
      - name: llama-3.3-70b-versatile

  # DeepSeek
  - name: openai
    api_key: ${DEEPSEEK_API_KEY}
    base_url: https://api.deepseek.com
    models:
      - name: deepseek-chat

  # Together AI
  - name: openai
    api_key: ${TOGETHER_API_KEY}
    base_url: https://api.together.xyz
    models:
      - name: meta-llama/Meta-Llama-3.1-70B-Instruct-Turbo

  # Local Ollama
  - name: openai
    api_key: unused
    base_url: http://localhost:11434/v1
    models:
      - name: llama3.2

Архитектура

probes.yml
  -> Config loader (YAML + env var expansion)
    -> Probe engine (concurrent goroutines per provider/model)
      -> Provider clients (raw HTTP + SSE parsing, no SDKs)
        -> Results (TTFT, latency, tokens/sec, status)
          -> Output (table, JSON, JSONL)

Каждый клиент провайдера — это тонкая HTTP-обертка, которая отправляет потоковый запрос и анализирует ответ. SDK LLM не импортируются. Парсер SSE обрабатывает как события только с данными (OpenAI, Google), так и именованные события (Anthropic). Клиент Bedrock реализует подпись SigV4 и парсинг бинарного потока событий AWS с нуля.

TTFT измеряется с момента отправки HTTP-запроса до первого события, содержащего фактический текстовый контент (не назначения ролей или метаданные).

Провайдеры

Провайдер

Конечная точка

Авторизация

Формат потока

OpenAI

/v1/chat/completions

Authorization: Bearer

SSE, [DONE] sentinel

Anthropic

/v1/messages

x-api-key header

named-event SSE

Google

/v1beta/models/{model}:streamGenerateContent?alt=sse

key query param

SSE

Azure OpenAI

/openai/deployments/{model}/chat/completions

api-key header

SSE, [DONE] sentinel

AWS Bedrock

/model/{model}/converse-stream

SigV4

AWS binary event stream

OpenAI-compat

/v1/chat/completions (custom base_url)

Authorization: Bearer

SSE

Совместимость с OpenAI охватывает: Groq, Together AI, Fireworks, DeepSeek, Mistral, OpenRouter, Ollama, vLLM и любую конечную точку, поддерживающую API чат-комплитов OpenAI.

Живой бенчмарк

llm-bench использует llmprobe для проведения непрерывного публичного бенчмарка основных API LLM. Результаты публикуются в виде открытого набора данных JSONL и интерактивной панели мониторинга в терминале на bench.jonathanwrede.de.

Дорожная карта

  • Отслеживание базовых показателей: хранение скользящих перцентилей, оповещение, когда текущий зонд превышает базовый уровень Nx

  • Экспорт метрик OpenTelemetry для интеграции с Grafana/Datadog

  • Конечная точка Prometheus /metrics

  • Валидация структурированного вывода: проверка корректности парсинга ответов в режиме JSON

Лицензия

MIT

Available Tools

4 tools
get_configA

Return the full parsed configuration including defaults, providers, models, and thresholds. Useful for understanding the current probe setup or debugging configuration issues.

Inputs: config.

list_providersA

List all providers and models defined in the config file. Returns provider names, model identifiers, and any configured thresholds. Use this to discover what models are available before probing.

Inputs: config.

probe_allA

Probe all configured LLM API endpoints. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status for every model in the config file.

Inputs: config.

probe_modelA

Probe a single LLM model by provider and model name. Use this for ad-hoc checks without a config file. Returns TTFT (ms), total latency (ms), throughput (tokens/sec), and health status.

Inputs: provider (required), model (required), api_key_env (required), base_url, +1 more.

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A4.3/5.0

    Scored across 4 tools

    Disambiguation5/5

    Each tool has a distinct purpose: configuration retrieval, provider listing, bulk probing, and single model probing. No overlap.

    Naming Consistency5/5

    All tool names follow a consistent verb_noun pattern (get_config, list_providers, probe_all, probe_model) with appropriate verbs.

    Tool Count5/5

    4 tools is well-scoped for the LLM probing domain, covering necessary operations without bloat.

    Completeness5/5

    The tool set covers all essential probe operations: viewing config, listing providers, probing all endpoints, and probing a single endpoint, with no obvious gaps.

    Maintenance

    ActivityNo data
    ResponsivenessOutdated data

    Related MCP Connectors

    Related MCP Servers