高階管理員 / FinOps
Token FinOps:把 AI 支出做成可分攤、可卡住的帳
自有價目表把 token 換算成真實成本、標籤把錢歸集到成本中心、日 / 月費用配額把預算變成能攔請求的閘門。
社群真正在抱怨什麼
廠商 list price 不是你真實談下來的成本 —— 折扣價、私有價無處錄入,成本報表全是虛數;模型中途降價,歷史月份的成本會被改價追溯污染。
分攤靠人工匯出 CSV,錢花在哪個團隊說不清,超預算更是事後才發現。
GateLLM 怎麼做
GateLLM 提供自有價目表:手動錄入的私有價(pinned)成為權威價,系統重新整理不覆寫;每條價格是一條快照,按時間分段生效 —— 回填歷史價、預設降價生效日,改價不追溯歷史。
標籤把金鑰 / 金鑰組歸集到成本中心,日 / 月費用配額按金鑰 → 金鑰組 → 全域三層繼承,UTC 自然日 / 自然月獨立判定,觸頂即攔。
落地的 5 個手段
- 自有價目表:pinned 私有價遮蔽 auto,系統重新整理跳過不覆寫
- 價格快照按 [自身時間, 下一條時間) 分段,回填歷史 / 預設未來生效
- 三種計費模式:Token 計費 / 按次計費 / 按時長計費(語音轉寫、影片生成)
- 金鑰 / 金鑰組打標籤,按標籤彙總用量與費用
- 日 / 月費用配額:三層繼承 + max 摺疊,觸頂 429 quota_exceeded