중급플랫폼 / AI 엔지니어
토큰 사용량 가시성 및 귀속: 모든 에이전트의 지출 파악
모든 호출을 액세스 키, 키 그룹, 모델별로 분해하세요 — 입력, 출력, 캐시 적중 토큰을 1분 단위로 별도 계량해 "누가 돈을 태우는가"가 더 이상 추측이 아닙니다.
커뮤니티가 실제로 불평하는 것
에이전트 시대의 전형적 딜레마: API 키 하나를 도구, 에이전트, 동료 열두 명이 공유하고 월말 인보이스는 숫자 하나뿐입니다. "어느 에이전트가 돈을 태우나" 또는 "어느 모델이 지출의 80%를 먹었나"를 물으면 원본 로그를 내보내 손으로 이어 붙여야 합니다.
공유 키는 사용량과 비용을 귀속 불가능하게 만들어 예산 검토와 내부 빌링이 아예 일어나지 않습니다.
GateLLM은 이렇게 합니다
GateLLM은 모든 호출의 사용량과 비용을 분해 가능한 차원에 배치합니다: 통계 페이지가 모델, 액세스 키, 키 그룹별로 그룹화하고 입력 / 출력 / 캐시 적중 토큰을 별도 계량하며 1분 단위로 저장합니다.
빌링 페이지는 월 비용을 액세스 키별로 나누고 모델별 세부로 확장되며, Excel 내보내기는 액세스 키 × 모델을 포함한 6개 시트를 생성합니다.
실제로 효과가 있는 5가지 레버
- 모델 / access_key / access_key_group별 그룹화, 세부까지 확장
- 입력, 출력, 캐시 적중 토큰 별도 계량, 지연 시간과 성공률 포함
- 1분 단위 저장, 24시간 / 7일 / 30일 / 사용자 지정 범위와 자동 세분화 시계열
- 월 비용을 액세스 키별로 분해하고 모델별로 확장, 합계 포함
- 6개 시트 Excel 내보내기: 모델 / 액세스 키 / 키 그룹 / 키 × 모델 / 일 / 주