고급관리자
멀티 테넌트 격리: 키 그룹, 헤더 규칙, 테넌트별 과금
키 그룹이 모델과 로드 밸런서를 나누고, 헤더 규칙이 클라이언트를 구분하며, 테넌트별 속도 제한과 과금으로 여러 팀이 하나의 게이트웨이를 쓰면서도 비용과 권한이 명확해집니다.
커뮤니티가 실제로 불평하는 것
Reddit: "엔지니어 50명인데 재무가 $400k를 누가 썼냐고 묻는다." 여러 팀이 API 키 하나를 공유하면 누가 얼마를 썼는지 알 수 없습니다.
릴레이는 모든 테넌트 키를 한데 섞고, 테넌트 데이터가 교차하며, 테넌트별 속도 제한도 할 수 없습니다.
GateLLM은 이렇게 합니다
GateLLM은 키 그룹으로 모델과 로드 밸런서를 나눕니다 — 각 테넌트가 독립적인 키와 할당량을 받고, 헤더 규칙(Header ACL)이 User-Agent / 사용자 정의 헤더로 클라이언트를 구분해 차등 정책을 적용하며, 테넌트별 속도 제한과 과금이 독립적으로 귀속됩니다. 테넌트 키마다 태그를 붙이면 태그로 테넌트 간 비용을 집계할 수도 있습니다.
BYOK에서는 키가 메모리에만 있으므로 테넌트는 구조적으로 격리됩니다 — 섞이지도, 유출되지도 않습니다.
실제로 효과가 있는 5가지 레버
- 키 그룹: 테넌트별로 모델과 로드 밸런서 분리
- 헤더 규칙(Header ACL): User-Agent / 사용자 정의 헤더로 클라이언트 구분
- 테넌트별 속도 제한: 독립적인 RPM / TPM / 예산 할당량
- 테넌트별 과금: 독립적인 비용 귀속 및 인보이싱
- 키는 메모리에만: 구조적 테넌트 격리, 섞이거나 유출되지 않음