上級管理者
マルチテナント分離:キーグループ、ヘッダールール、テナント別課金
キーグループがモデルとロードバランサーを分割し、ヘッダールールがクライアントを区別し、テナント別のレート制限と課金を実現します。複数チームが 1 つのゲートウェイを使っても、コストと権限は明確です。
コミュニティが実際に不満を言っていること
Reddit:「エンジニアが 50 人いて、経理から $400k を誰が使ったのかと聞かれる」。複数チームが 1 つの API キーを共有すると、誰がいくら使ったか分かりません。
リレーはテナントのキーをすべて混在させ、テナント間でデータが交差し、テナント単位のレート制限もできません。
GateLLM の実現方法
GateLLM はキーグループでモデルとロードバランサーを分割し、各テナントが独立したキーとクォータを持ちます。ヘッダールール(Header ACL)が User-Agent / カスタムヘッダーでクライアントを区別し、ポリシーを分けられます。テナント別のレート制限と課金は独立して配賦されます。テナントのキーにタグを付ければ、タグでテナントをまたいだコスト集計もできます。
BYOK ではキーがメモリ内だけに存在するため、テナントは構造的に分離されます。混在も持ち出しもありません。
実際に効果が出る 5 つのレバー
- キーグループ:テナントごとにモデルとロードバランサーを分割
- ヘッダールール(Header ACL):User-Agent / カスタムヘッダーでクライアントを区別
- テナント別レート制限:独立した RPM / TPM / 予算クォータ
- テナント別課金:独立したコスト配賦と請求
- キーはメモリ内だけ:テナント分離は構造的に保証され、混在も持ち出しもなし