Token FinOps: сделайте расходы на AI распределяемыми и останавливаемыми
Собственный прайс-лист превращает токены в реальную стоимость, теги относят расходы к центрам затрат, а суточные / месячные квоты стоимости превращают бюджеты в шлюзы, блокирующие запросы.
На что на самом деле жалуется сообщество
Каталожная цена производителя — не ваша реальная согласованная стоимость: скидкам и приватным ценам негде храниться, поэтому отчёты о стоимости — вымысел; когда модель снижает цену посреди цикла, исторические месяцы искажаются переоценённой историей.
Возврат затрат — ручное упражнение с CSV, а перерасход обнаруживается только постфактум.
Как это делает GateLLM
GateLLM даёт собственный прайс-лист: введённая вручную приватная цена (закреплённая) становится авторитетной, и системные обновления её не перезаписывают. Каждая цена — снимок, вступающий в силу по временному окну — можно заполнить историю или заранее назначить снижение цены, не переписывая стоимость задним числом.
Теги сворачивают ключи / группы ключей в центры затрат, а суточные / месячные квоты стоимости наследуются ключ → группа → глобально, оцениваются независимо по календарным дню и месяцу UTC и блокируют в момент срабатывания любого из них.
5 рычагов, которые действительно работают
- Собственный прайс-лист: закреплённая приватная цена перекрывает автоматическую, обновления её не перезаписывают
- Снимки цен покрывают [собственное время, следующее время), заполнение истории / предварительное назначение будущего
- Три режима биллинга: за токен, за вызов и за секунду (транскрипция, генерация видео)
- Теги на ключах / группах ключей и агрегация использования и стоимости по тегу
- Суточные / месячные квоты стоимости: наследование трёх уровней + выбор максимума, 429 quota_exceeded при срабатывании