上級管理者

マルチテナント分離:キーグループ、ヘッダールール、テナント別課金

キーグループがモデルとロードバランサーを分割し、ヘッダールールがクライアントを区別し、テナント別のレート制限と課金を実現します。複数チームが 1 つのゲートウェイを使っても、コストと権限は明確です。

コミュニティが実際に不満を言っていること

Reddit:「エンジニアが 50 人いて、経理から $400k を誰が使ったのかと聞かれる」。複数チームが 1 つの API キーを共有すると、誰がいくら使ったか分かりません。

リレーはテナントのキーをすべて混在させ、テナント間でデータが交差し、テナント単位のレート制限もできません。

GateLLM の実現方法

GateLLM はキーグループでモデルとロードバランサーを分割し、各テナントが独立したキーとクォータを持ちます。ヘッダールール(Header ACL)が User-Agent / カスタムヘッダーでクライアントを区別し、ポリシーを分けられます。テナント別のレート制限と課金は独立して配賦されます。テナントのキーにタグを付ければ、タグでテナントをまたいだコスト集計もできます。

BYOK ではキーがメモリ内だけに存在するため、テナントは構造的に分離されます。混在も持ち出しもありません。

実際に効果が出る 5 つのレバー

  • キーグループ:テナントごとにモデルとロードバランサーを分割
  • ヘッダールール(Header ACL):User-Agent / カスタムヘッダーでクライアントを区別
  • テナント別レート制限:独立した RPM / TPM / 予算クォータ
  • テナント別課金:独立したコスト配賦と請求
  • キーはメモリ内だけ:テナント分離は構造的に保証され、混在も持ち出しもなし
詳細手順:マルチテナント分離(docs)

FAQ