上級管理者 / FinOps
Token FinOps:AI 支出を配賦可能かつ停止可能にする
自社レートカードがトークンを実際のコストに変え、タグが支出をコストセンターへ着地させ、日次 / 月次のコストクォータが予算をリクエスト遮断のゲートに変えます。
コミュニティが実際に不満を言っていること
ベンダーの定価は実際に交渉したコストではありません。割引価格や非公開価格を記録する場所がなく、コストレポートは虚構になります。モデルが期中に値下げすると、過去の月が再価格設定された履歴で汚染されます。
チャージバックは手作業の CSV 作業になり、過剰支出は事後にしか分かりません。
GateLLM の実現方法
GateLLM は自社レートカードを提供します。手入力した非公開価格(固定)が正となり、システムの更新で上書きされることはありません。各価格はスナップショットで、期間に応じて有効になります。履歴を補填したり値下げを事前予約したりでき、過去のコストを遡って書き換えることはありません。
タグがキー / キーグループをコストセンターにまとめ、日次 / 月次のコストクォータはキー → グループ → グローバルの順に継承され、UTC の暦日と暦月で独立に判定して、どちらかに達した瞬間にブロックします。
実際に効果が出る 5 つのレバー
- 自社レートカード:固定した非公開価格が自動価格を覆い、更新で上書きされない
- 価格スナップショットは [自身の時刻, 次の時刻) をカバーし、履歴の補填 / 将来の事前予約が可能
- 3 つの課金モード:トークン単位、呼び出し単位、秒単位(文字起こし、動画生成)
- キー / キーグループにタグを付け、タグ別に利用量とコストを集計
- 日次 / 月次のコストクォータ:3 階層継承 + 最大値の折り畳み、到達時に 429 quota_exceeded