高级管理员 / FinOps
Token FinOps:把 AI 支出做成可分摊、可卡住的账
自有价目表把 token 换算成真实成本、标签把钱归集到成本中心、日 / 月费用配额把预算变成能拦请求的闸门。
社区真正在抱怨什么
厂商 list price 不是你真实谈下来的成本 —— 折扣价、私有价无处录入,成本报表全是虚数;模型中途降价,历史月份的成本会被改价追溯污染。
分摊靠人肉导 CSV,钱花在哪个团队说不清,超预算更是事后才发现。
GateLLM 怎么做
GateLLM 提供自有价目表:手动录入的私有价(pinned)成为权威价,系统刷新不覆写;每条价格是一条快照,按时间分段生效 —— 回填历史价、预设降价生效日,改价不追溯历史。
标签把密钥 / 密钥组归集到成本中心,日 / 月费用配额按密钥 → 密钥组 → 全局三层继承,UTC 自然日 / 自然月独立判定,触顶即拦。
落地的 5 个手段
- 自有价目表:pinned 私有价遮蔽 auto,系统刷新跳过不覆写
- 价格快照按 [自身时间, 下一条时间) 分段,回填历史 / 预设未来生效
- 三种计费模式:Token 计费 / 按次计费 / 按时长计费(语音转写、视频生成)
- 密钥 / 密钥组打标签,按标签汇总用量与费用
- 日 / 月费用配额:三层继承 + max 折叠,触顶 429 quota_exceeded