中級プラットフォーム / AI エンジニア
トークン利用量の可視化と配賦:各エージェントの支出を把握する
すべての呼び出しをアクセスキー、キーグループ、モデル別に分解し、入力・出力・キャッシュヒットのトークンを 1 分単位で個別に計測します。「誰が浪費しているか」が推測ではなくなります。
コミュニティが実際に不満を言っていること
エージェント時代の典型的な悩み:1 つの API キーを十数個のツール、エージェント、チームメンバーで共有し、月末の請求書は 1 つの数字だけ。「どのエージェントが浪費しているのか」「どのモデルが支出の 80% を食ったのか」を聞かれても、生のログをエクスポートして手作業でつなぎ合わせるしかありません。
キーを共有すると利用量とコストを配賦できず、予算レビューや社内請求が行われないままになります。
GateLLM の実現方法
GateLLM はすべての呼び出しの利用量とコストを分解可能な次元に落とします。統計ページはモデル、アクセスキー、キーグループ別に集計し、入力 / 出力 / キャッシュヒットのトークンを個別に計測し、1 分単位で永続化します。
請求ページは月次コストをアクセスキー別に分割し、モデル単位の詳細へ展開できます。Excel エクスポートはアクセスキー × モデルを含む 6 シートを生成します。
実際に効果が出る 5 つのレバー
- モデル / access_key / access_key_group 別に集計し、詳細へ展開可能
- 入力・出力・キャッシュヒットのトークンを個別に計測し、レイテンシーと成功率も表示
- 1 分単位で永続化し、24 時間 / 7 日 / 30 日 / 任意期間を自動粒度の時系列で表示
- 月次コストをアクセスキー別に分解し、モデル単位へ展開、合計も表示
- 6 シートの Excel エクスポート:モデル / アクセスキー / キーグループ / キー × モデル / 日 / 週