Видимость и атрибуция расхода токенов: знайте, сколько тратит каждый агент
Разбирайте каждый вызов по ключу доступа, группе ключей и модели — входные, выходные токены и попадания в кеш учитываются отдельно с гранулярностью в 1 минуту, так что «кто сжигает деньги» перестаёт быть догадкой.
На что на самом деле жалуется сообщество
Классическая ловушка эпохи агентов: один API-ключ делят десяток инструментов, агентов и коллег, а счёт в конце месяца — одно число. Попросите сказать «какой агент сжигает деньги» или «какая модель съела 80% расходов» — и придётся выгружать сырые логи и вручную их склеивать.
Общие ключи делают использование и стоимость неатрибутируемыми, поэтому обзоры бюджетов и внутренний биллинг так и не происходят.
Как это делает GateLLM
GateLLM относит использование и стоимость каждого вызова к разложимым измерениям: страница статистики группирует по модели, ключу доступа и группе ключей, учитывает входные / выходные токены и попадания в кеш отдельно и сохраняет данные с гранулярностью в 1 минуту.
Страница биллинга разбивает месячную стоимость по ключу доступа и раскрывается до детализации по моделям; экспорт в Excel формирует 6 листов, включая ключ доступа × модель.
5 рычагов, которые действительно работают
- Группировка по модели / access_key / access_key_group с раскрытием до деталей
- Входные, выходные токены и попадания в кеш учитываются отдельно, вместе с задержкой и долей успешных запросов
- Сохранение с шагом 1 минута; диапазоны 24 ч / 7 дн. / 30 дн. / произвольные с автоматической гранулярностью временных рядов
- Месячная стоимость в разбивке по ключу доступа с раскрытием до модели и итогами
- Экспорт в Excel с 6 листами: модель / ключ доступа / группа ключей / ключ × модель / день / неделя