# プロバイダーごとに複数のキー：重み付き分散、スティッキーな紐付け、待機キーの引き継ぎ

> アップストリームごとに複数の API キーを持つ AI ゲートウェイ：決定論的な重み付きハッシュ、呼び出し元ごとのスティッキーな紐付け、weight=0 の待機キーによる引き継ぎ、紐付けの可視化。アップストリーム間の負荷分散と直交して積み重なります。

正規 URL: https://www.gatellm.io/ja/use-cases/multi-key-pooling/

ひとつのアップストリームに複数の API キーを紐付けます。重み付き分散、呼び出し元ごとのスティッキーな紐付け、weight=0 の待機キーを最後の砦として、429 で待たされることがなくなります。

## コミュニティが実際に不満を言っていること
Reddit の人気トピック：「OpenAI のキー 1 つでは RPM が足りない。複数アカウントでローテーションするには」「キーが 429 に達して業務が待たされる」「キーを切り替えるとセッションのキャッシュ親和性が失われる」。
自前でローテーションを実装すると、粘着性、重み、待機、障害時の除外を自分で扱う必要があり、相応のエンジニアリング工数がかかります。

## GateLLM の実現方法
GateLLM のアップストリーム設定は複数の API キーを受け付けます。決定論的な重み付きハッシュ（FNV-1a）が各呼び出し元を同じアップストリームキーに固定し（TTL 内で安定。キーをその場でローテーションしても粘着性は壊れません）、重みが分散比率を決めます。キーが失敗すると、ゲートウェイはそのアップストリーム内の未試行の次のキーでリトライし、元のスティッキーな紐付けを上書きしません。
weight=0 のキーは待機系で、weight>0 のすべてのキーが失敗した後にのみ有効になります。紐付け状態（binding / predicted / stale）はコンソールで行単位に確認できます。
この仕組みはロードバランサーと直交して積み重なります。Smooth WRR がエントリ間でアップストリームを選び、次にスティッキー選択がその中のキーを選びます。

## 実際に効果が出る 5 つのレバー
- 重み付きマルチキー：決定論的な重み付きハッシュが呼び出し元を分散し、重みは比率
- スティッキーな紐付け：各呼び出し元は TTL 内で同じアップストリームキーに固定され、キャッシュ親和性を保つ
- 待機キー：weight=0 のキーは通常の分散から外れ、すべての有効なキーが失敗した後にのみ有効化
- 可視化された紐付け：binding / predicted / stale の状態を行単位で表示し、3 秒ごとに自動更新
- LB と直交：アップストリーム内のキー選択と、アップストリーム間の Smooth WRR が 2 層として積み重なる

## FAQ
### キーのローテーションでプロンプトキャッシュの親和性は失われますか？
まさにそのためにスティッキーな紐付けがあります。各呼び出し元は TTL 内で同じアップストリームキーに固定され、同じベンダーアカウントのキャッシュにヒットします。キーをその場でローテーションしても粘着性は壊れず、キーの追加 / 削除 / 並べ替え、重みの変更があった場合にのみ再選択が起こります。

### 待機キーはいつ有効になりますか？
weight=0 のキーは通常の分散から外れ、weight>0 のすべてのキーを試して失敗した後にのみ有効になります。待機キーは紐付けを持ちません。キーが処理中に失敗すると、ゲートウェイは同じアップストリーム内の未試行の次のキーでリトライし、元のスティッキーな紐付けを上書きしません。その呼び出し元の後続リクエストは、当初紐付いたキーから始まります。

- [詳細リファレンス：アップストリームとモデルのフィールド（docs）](https://docs.gatellm.io/en/reference/upstreams-models-fields)

## 関連ページ
- [ホーム](https://www.gatellm.io/ja/index.md)
- [料金](https://www.gatellm.io/ja/pricing.md)
- [コスト計算ツール](https://www.gatellm.io/ja/calculator.md)
- [会社概要](https://www.gatellm.io/ja/about.md)
- [デモを予約](https://www.gatellm.io/ja/demo.md)
- [FAQ](https://www.gatellm.io/ja/faq.md)
- [AI ゲートウェイ比較](https://www.gatellm.io/ja/compare.md)
- [LiteLLM 比較](https://www.gatellm.io/ja/compare/litellm.md)
- [OpenRouter 比較](https://www.gatellm.io/ja/compare/openrouter.md)
- [Alibaba Cloud AI Gateway 比較](https://www.gatellm.io/ja/compare/alibaba-cloud.md)
- [Azure API Management 比較](https://www.gatellm.io/ja/compare/azure-apim.md)
- [Apigee 比較](https://www.gatellm.io/ja/compare/apigee.md)
- [Cloudflare AI Gateway 比較](https://www.gatellm.io/ja/compare/cloudflare.md)
- [Kong AI Gateway 比較](https://www.gatellm.io/ja/compare/kong.md)
- [Portkey 比較](https://www.gatellm.io/ja/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ja/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ja/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ja/compare/litellm-vs-portkey.md)
- [ユースケース](https://www.gatellm.io/ja/use-cases.md)
- [LLM コスト削減](https://www.gatellm.io/ja/use-cases/reduce-cost.md)
- [高可用性](https://www.gatellm.io/ja/use-cases/high-availability.md)
- [マルチテナント分離](https://www.gatellm.io/ja/use-cases/multi-tenant.md)
- [コンプライアンスと監査](https://www.gatellm.io/ja/use-cases/compliance-audit.md)
- [症状別トラブルシューティング](https://www.gatellm.io/ja/use-cases/troubleshooting.md)
- [マルチベンダー混合モデル構成](https://www.gatellm.io/ja/use-cases/mixed-model-stack.md)
- [Office 内での AI セルフホスト](https://www.gatellm.io/ja/use-cases/self-hosted-office-ai.md)
- [Token 使用量の可視化と帰属](https://www.gatellm.io/ja/use-cases/token-ops.md)
- [Token FinOps：AI コストの配賦と統制](https://www.gatellm.io/ja/use-cases/token-finops.md)
- [MCP ツールガバナンス](https://www.gatellm.io/ja/use-cases/mcp-tool-governance.md)
- [すべてのモデルに Web 検索を追加](https://www.gatellm.io/ja/use-cases/web-search-grounding.md)
- [接続クライアントの受付制御](https://www.gatellm.io/ja/use-cases/client-admission-control.md)
- [モデル利用ポリシーの強制](https://www.gatellm.io/ja/use-cases/enforce-model-policy.md)
- [クライアントにモデル選択を公開しない](https://www.gatellm.io/ja/use-cases/automatic-model-tiering.md)
- [1 つのプロトコルで、あらゆるモデル](https://www.gatellm.io/ja/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 アドイン](https://www.gatellm.io/ja/office-addin.md)
- [用語集](https://www.gatellm.io/ja/glossary.md)
- [モデルカタログ](https://www.gatellm.io/ja/models.md)
- [SDK・フレームワーク連携](https://www.gatellm.io/ja/integrations.md)
- [AI コーディングエージェントとハーネス](https://www.gatellm.io/ja/coding-agents.md)
- [セキュリティとコンプライアンス](https://www.gatellm.io/ja/security.md)