中級平台 / AI 工程
Token 用量可見與歸因:每個 Agent 花多少一目瞭然
按存取金鑰、金鑰組、模型三維度拆解每一次呼叫的 token 用量與費用,1 分鐘粒度持久化,誰在燒錢不必再猜。
社群真正在抱怨什麼
Agent 時代的一個典型困境:一個 API key 被十幾個工具、Agent、同事共用,月底帳單只有一個總數,想回答「哪個 agent 在燒錢」「哪個模型佔了八成花費」卻只能匯出原始日誌自己拼。
共享 key 讓用量與費用都無法歸因到人,預算覆盤和內部計費都無從談起。
GateLLM 怎麼做
GateLLM 把每一次呼叫的用量與費用落到可拆解維度:統計頁按模型、存取金鑰、金鑰組三維度 group_by,輸入 / 輸出 / 快取命中 token 分開計量,1 分鐘粒度持久化。
計費頁按月、按存取金鑰拆解費用,展開可見該金鑰下每個模型的明細,Excel 匯出 6 張 sheet(含 access key × model)。
落地的 5 個手段
- 統計頁三維度拆解:model / access_key / access_key_group,可展開看明細
- 輸入 · 輸出 · 快取讀取 token 分開計量,平均延遲與成功率同屏
- 1 分鐘粒度持久化,24h / 7d / 30d / 自訂時間範圍,時序圖自適應粒度
- 月度成本按存取金鑰拆解,展開到模型級,表尾合計
- Excel 匯出 6 張 sheet:model / access key / key group / key × model / day / week