고급관리자 / FinOps
Token FinOps: AI 지출을 할당 가능하고 중단 가능하게
자체 요율표가 토큰을 실제 비용으로 바꾸고, 태그가 지출을 코스트 센터에 배분하며, 일일 / 월간 비용 할당량이 예산을 요청 차단 게이트로 바꿉니다.
커뮤니티가 실제로 불평하는 것
벤더 정가는 실제 협상 비용이 아닙니다 — 할인과 프라이빗 가격을 기록할 곳이 없어 비용 보고서는 허구가 되고, 모델이 월 중간에 가격을 인하하면 과거 월이 다시 매겨진 이력으로 오염됩니다.
차지백은 수작업 CSV 작업이고, 초과 지출은 사후에야 발견됩니다.
GateLLM은 이렇게 합니다
GateLLM은 자체 요율표를 제공합니다: 직접 입력한 프라이빗 가격(고정)이 권위 있는 값이 되고 시스템 새로고침이 절대 덮어쓰지 않습니다. 각 가격은 시간 창에 따라 적용되는 스냅샷입니다 — 과거를 백필하거나 인하를 미리 예약할 수 있으며 비용을 소급해 다시 쓰지 않습니다.
태그가 키 / 키 그룹을 코스트 센터로 묶고, 일일 / 월간 비용 할당량이 키 → 그룹 → 전역으로 상속되며 UTC 달력일과 월 기준으로 독립 판정되어 둘 중 하나라도 초과하는 순간 차단합니다.
실제로 효과가 있는 5가지 레버
- 자체 요율표: 고정 프라이빗 가격이 자동 가격을 덮고 새로고침이 절대 덮어쓰지 않음
- 가격 스냅샷이 [자기 시각, 다음 시각)을 커버, 과거 백필 / 미래 예약
- 세 가지 과금 모드: 토큰당, 호출당, 초당(전사, 비디오 생성)
- 키 / 키 그룹에 태그를 붙이고 태그별로 사용량 및 비용 집계
- 일일 / 월간 비용 할당량: 3단계 상속 + 최대값 폴드, 초과 시 429 quota_exceeded