Skip to main content
Glama

tokentoll

Отслеживайте изменения стоимости LLM при проверке кода. Infracost для расходов на LLM.

CI PyPI version GitHub Marketplace License: MIT Python 3.10+

Инструмент CLI и GitHub Action, который статически анализирует ваш код на наличие вызовов API LLM, оценивает их стоимость и показывает влияние каждого изменения на расходы в вашем терминале или в виде комментария к PR. Нулевые зависимости во время выполнения.

Проблема

Простая замена модели с gpt-4o-mini на gpt-4o увеличивает расходы в 15 раз. Новый вызов API в критическом пути может добавить $10 000/мес к вашему счету. Эти изменения скрыты при обычной проверке кода.

tokentoll находит вызовы API LLM в вашем коде, оценивает их стоимость и показывает влияние каждого изменения на расходы до того, как оно попадет в продакшн.

Related MCP server: ModelCostSaver

Быстрый старт

pip install tokentoll

# Scan current directory for LLM API calls and their costs
tokentoll scan .

# Show cost impact of your last commit
tokentoll diff HEAD~1

# Compare two branches
tokentoll diff main..feature-branch

GitHub Action

name: LLM Cost Diff
on:
  pull_request:
    paths:
      - "**.py"

permissions:
  pull-requests: write

jobs:
  cost-diff:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
        with:
          fetch-depth: 0

      - uses: Jwrede/tokentoll@v0.6.1

Что он обнаруживает

SDK

Шаблоны

Статус

OpenAI

chat.completions.create, responses.create

Поддерживается

Anthropic

messages.create, messages.stream

Поддерживается

Google GenAI

models.generate_content

Поддерживается

LiteLLM

completion, acompletion

Поддерживается

LangChain

ChatOpenAI, ChatAnthropic, init_chat_model

Поддерживается

Zhipu AI

ZhipuAiClient, ZhipuAI (модели GLM)

Поддерживается

JS/TS SDKs

Запланировано

Пример вывода

tokentoll scan

LLM API Calls Detected
============================================================

File: src/agents/summarizer.py
  Line 42: openai client.chat.completions.create
           Model: gpt-4o | Max tokens: 4096
           Est. cost/call: $0.03 | Monthly (1000 calls/month per call site): $26.50

  Line 78: openai client.chat.completions.create
           Model: gpt-4o-mini | Max tokens: 1000
           Est. cost/call: $0.000301 | Monthly (1000 calls/month per call site): $0.30

--
Total estimated monthly cost: $26.80
  1000 calls/month per call site

tokentoll diff

LLM Cost Diff: main..feature-branch
============================================================

+ ADDED    src/agents/rewriter.py:35
           openai | Model: gpt-4o
           Est. cost/call: $0.03 | Monthly: +$26.50

~ MODIFIED src/agents/summarizer.py:42
           openai | Model: gpt-4o -> gpt-4o-mini
           Est. cost/call: $0.03 -> $0.000301 | Monthly: -$26.20

--
Monthly cost impact: +$0.30
  Added: 1 | Changed: 1 | Removed: 0
  1000 calls/month per call site

Как это работает

  Source Code (.py files)
         |
         v
  +-------------+     +------------------+
  | AST Scanner |---->| SDK Detectors    |
  | (ast.parse) |     | OpenAI, Anthropic|
  +-------------+     | Google, LiteLLM  |
                       | LangChain        |
                       +------------------+
                              |
                              v
                       +------------------+
                       | Pricing Engine   |
                       | 2200+ models     |
                       | Auto-cached      |
                       +------------------+
                              |
                  +-----------+-----------+
                  |                       |
                  v                       v
           +------------+         +-------------+
           | Scan Report|         | Diff Engine  |
           | (costs)    |         | (old vs new) |
           +------------+         +-------------+
                  |                       |
                  v                       v
           +------------+         +-------------+
           | Table/JSON |         | Table/JSON/  |
           |            |         | PR Comment   |
           +------------+         +-------------+
  1. Анализирует файлы Python с помощью модуля ast для поиска вызовов API LLM

  2. Многопроходное распространение констант разрешает имена моделей через переменные, резервные значения os.getenv(), атрибуты классов, аргументы конструктора, содержимое словарей и распаковку **kwargs

  3. Ищет цены в локальном кэше (полученном из LiteLLM, 2200+ моделей)

  4. Для режима diff: сравнивает вызовы между двумя ссылками git и вычисляет дельту стоимости

  5. Выводит отчет о стоимости в виде таблицы, JSON или комментария к PR на GitHub

Справочник CLI

tokentoll scan [PATH...] [--format table|json|markdown] [--calls-per-month N] [--config PATH]
tokentoll diff [REF] [--base REF] [--head REF] [--format table|json|markdown|github-comment] [--config PATH]
tokentoll update    # Update bundled pricing data

Сервер MCP

tokentoll включает сервер MCP (Model Context Protocol), который позволяет Claude Code и другим хостам MCP проверять влияние изменений кода LLM на стоимость непосредственно из диалога с агентом.

Установка

pip install tokentoll[mcp]

Регистрация в Claude Code

claude mcp add --transport stdio tokentoll -- tokentoll-mcp

Инструменты

Инструмент

Описание

scan

Поиск вызовов API LLM в каталоге и оценка ежемесячных расходов. Принимает путь и необязательный параметр calls_per_month.

diff

Сравнение затрат на LLM между двумя ссылками git. Принимает base_ref и необязательный head_ref (по умолчанию HEAD).

Оба инструмента возвращают вывод в формате JSON.

Пример использования

Claude Code может проверить влияние своих собственных изменений на стоимость перед фиксацией. Например, после замены модели с gpt-4o на gpt-4o-mini агент может вызвать инструмент diff для HEAD, чтобы подтвердить снижение затрат перед созданием коммита.

Данные о ценах

Данные о ценах включены в комплект и работают в автономном режиме. Чтобы обновить цены до последних:

tokentoll update

Данные о ценах получены из файла LiteLLM model_prices_and_context_window.json и охватывают более 300 моделей OpenAI, Anthropic, Google, AWS Bedrock, Azure и других.

Динамические значения моделей по умолчанию

Когда tokentoll встречает вызов, где имя модели является переменной, которую он не может разрешить, он применяет разумное значение по умолчанию для каждого SDK, чтобы вы все равно получили оценки стоимости:

SDK

Модель по умолчанию

OpenAI

gpt-4o

Anthropic

claude-sonnet-4-20250514

Google GenAI

gemini-2.0-flash

LiteLLM

gpt-4o

LangChain

gpt-4o

Zhipu AI

zai/glm-4.6

Эти значения по умолчанию отображаются как gpt-4o (default) в выводе сканирования. Вы можете переопределить их для каждого проекта или пути с помощью файла конфигурации .tokentoll.yml (см. ниже).

Конфигурация

Создайте .tokentoll.yml в корне вашего проекта, чтобы настроить поведение. tokentoll автоматически находит этот файл, поднимаясь вверх от сканируемого каталога.

# Default model for all dynamic (unresolved) calls
default_model: gpt-4o

# Per-SDK defaults (override the built-in defaults above)
default_models:
  openai: gpt-4o-mini
  anthropic: claude-haiku-3-20240307

# Assumed calls per month per call site
calls_per_month: 5000

# Skip cost estimation entirely for dynamic (unresolved) models. When true,
# calls whose model name cannot be resolved statically are reported with no
# cost rather than priced against a default. Useful for projects that prefer
# silence over a guess.
skip_dynamic_models: false

# Exclude paths from scanning (prefix match or glob pattern)
exclude:
  - tests/
  - examples/
  - docs/
  - "*_test.py"

# Per-path overrides (longest prefix match)
overrides:
  - path: src/agents/
    default_model: gpt-4o
    calls_per_month: 10000
  - path: src/azure/
    skip_dynamic_models: true

Порядок разрешения для динамических моделей по умолчанию: конфигурация для конкретного SDK (default_models) > общая конфигурация (default_model) > встроенные значения по умолчанию SDK.

Вы также можете передать --config path/to/.tokentoll.yml, чтобы использовать определенный файл конфигурации.

Оценка токенов

По умолчанию tokentoll оценивает количество токенов, используя эвристику символы/4. Для более точных оценок установите tiktoken:

pip install tiktoken

Когда tiktoken доступен, tokentoll использует правильную кодировку токенизатора для каждой модели. Неизвестные модели возвращаются к cl100k_base. Tiktoken загружается лениво, а кодировщики кэшируются, поэтому нет штрафа за запуск, если он вам не нужен.

Умное разрешение переменных

Реальные кодовые базы редко передают имена моделей в виде строковых литералов. Многопроходный движок распространения констант tokentoll отслеживает:

DEFAULT_MODEL = os.getenv("MODEL", "gpt-4o")

class Config:
    model: str = DEFAULT_MODEL

config = Config()
kwargs = {"model": config.model, "max_tokens": 2000}
client.chat.completions.create(**kwargs)
# tokentoll resolves: model="gpt-4o", max_tokens=2000
  • Присваивания переменных (MODEL = "gpt-4o")

  • Резервные значения os.getenv() / os.environ.get()

  • Параметры функций по умолчанию

  • Значения атрибутов классов по умолчанию

  • Распространение аргументов конструктора

  • Содержимое литералов словарей и индексов

  • Распаковку **kwargs

Дорожная карта

  • Частота вызовов с учетом контекста (запланировано): определение вызовов/мес из окружающего кода (обработчики маршрутов FastAPI = высокий трафик, скрипты = низкий, циклы = умножено) вместо предположения об одинаковом объеме для всех мест вызова.

  • Поддержка JS/TS (запланировано): обнаружение вызовов LLM в файлах JavaScript и TypeScript.

  • Оповещения о стоимости: настраиваемые пороги, которые вызывают сбой CI, когда PR превышает дельту стоимости.

Ограничения

  • Невозможно разрешить модели, загружаемые из внешних файлов конфигурации или баз данных во время выполнения. Эти вызовы используют значения по умолчанию для каждого SDK (настраиваются через .tokentoll.yml).

  • Оценки токенов используют эвристику символы/4, если не установлен tiktoken.

  • Ежемесячные оценки предполагают одинаковый объем вызовов для каждого места вызова (настраивается через --calls-per-month, .tokentoll.yml или переопределения для каждого пути). Используйте опцию exclude, чтобы пропустить тестовые и примерные файлы.

  • Пока только Python (поддержка JS/TS запланирована).

Лицензия

MIT

Available Tools

2 tools
diffA

Compare LLM costs between two git refs.

Shows which LLM call sites were added, removed, or changed between the base and head refs, along with the cost impact of those changes.

Args: base_ref: The base git ref (branch, tag, or commit) to compare from. head_ref: The head git ref to compare to. Defaults to HEAD.

Returns: JSON string with the diff results including cost changes.

Inputs: base_ref (required), head_ref. Returns: result

scanA

Scan a directory for LLM API calls and estimate monthly costs.

Finds all LLM API call sites (OpenAI, Anthropic, etc.) in the given path and produces a cost estimate based on token counts and pricing.

Args: path: Directory or file path to scan. Defaults to current directory. calls_per_month: Assumed monthly call volume per call site. If not provided, the CLI default (1000) is used.

Returns: JSON string with the scan results including call sites and cost estimates.

Inputs: path, calls_per_month. Returns: result

Tool Schema Changelog

Recent tool additions, removals, and schema changes observed during successful MCP inspections.

Loading tool schema changelog…

    TDQS

    A4.2/5.0

    Scored across 2 tools

    Disambiguation5/5

    The two tools, diff and scan, have clearly distinct purposes: scan finds LLM call sites and estimates costs, while diff compares costs between git refs. No overlap or ambiguity.

    Naming Consistency4/5

    Both tool names are single verbs ('diff', 'scan'), which is consistent in style. While not a verb_noun pattern, the naming is uniform and intuitive for the domain.

    Tool Count3/5

    With only 2 tools, the server is very focused. This can be appropriate for a narrow utility, but it feels thin for a full server. A few more tools (e.g., pricing config) might improve scope.

    Completeness3/5

    The tools cover two core operations: scanning and diffing. However, there is no tool for managing pricing configurations or listing assumptions, which could be gaps for advanced use.

    Maintenance

    ActivityNo data
    ResponsivenessOutdated data

    Related MCP Connectors

    Related MCP Servers

    • A
      license
      Not graded
      quality
      D
      maintenance
      Estimates, compares, and controls LLM API costs before agents spend tokens, with tools for cost estimation, model comparison, and budget checking.
      58 npm
      MIT
    • A
      license
      Not graded
      quality
      D
      maintenance
      Enables exact Claude API cost estimation from token counts with correct prompt-cache economics, plus cache break-even analysis showing whether and at which TTL reusing a prefix pays off. It also scans source code for tiktoken-based token counting used alongside Claude models and points to the correct fix.
      MIT