# 一個廠商多個 Key:加權分流、粘性繫結與備用啟用

> AI 閘道器單上游多 API Key:確定性加權雜湊分流、呼叫方粘性繫結、weight=0 備用啟用、繫結狀態可觀測,與跨上游負載平衡正交疊加。

規範連結: https://www.gatellm.io/zh-TW/use-cases/multi-key-pooling/

單上游掛多把 API Key:按權重分流、同一呼叫方粘性繫結、weight=0 備用 key 保底 —— 限流與單 key 故障不再硬等。

## 社群真正在抱怨什麼
Reddit 高頻:「OpenAI 一把 key 的 RPM 不夠用,多開幾個號怎麼輪詢」、「key 被限流 429,業務只能硬等」、「切 key 後同一會話的快取親和全丟」。
自己寫輪詢還要處理粘性、權重、備用與失敗摘除,工程量不小。

## GateLLM 怎麼做
GateLLM 上游表單支援多把 API Key:確定性加權雜湊(FNV-1a)把同一呼叫方粘性繫結到同一把 key(TTL 內穩定,同位輪換不破黏性),權重決定分流比例;某把 key 失敗時在該上游內輪換到下一把未試過的 key 重試,但不覆蓋首次粘性繫結;weight=0 的 key 作備用,僅當所有 weight>0 的 key 都失敗後才啟用。
繫結狀態(binding / 預測 / stale)在控制台逐行可觀測。
與負載平衡器的跨上游 Smooth WRR 正交疊加:上游內選 key,負載平衡器跨上游選上游。

## 落地的 5 個手段
- 多 key 加權:確定性加權雜湊分流,權重即比例
- 粘性繫結:同一呼叫方 TTL 內粘在同一把上游 key,快取親和
- 備用 key:weight=0 不參與常規分流,所有活躍 key 失敗後才啟用
- 繫結可觀測:binding / 預測 / stale 狀態逐行可查,3s 自動重新整理
- 與 LB 正交:上游內選 key + 跨上游 Smooth WRR 疊加,雙層分流

## 常問問題
### 換 key 會不會丟 prompt 快取親和?
粘性繫結就是為此設計:同一呼叫方在 TTL 內穩定繫結同一把上游 key,命中同一廠商帳號的快取;key 同位輪換不破黏性,增刪 / 重排 / 改權重才觸發重選。

### 備用 key 什麼時候生效?
weight=0 的 key 平時不參與分流,僅當所有 weight>0 的 key 都試過失敗後才啟用,且不存繫結。單把 key 請求失敗時,閘道器在該上游內輪換到下一把未試過的 key 重試,但不覆蓋首次粘性繫結——後續該呼叫方的請求仍從原繫結 key 起步。

- [檢視設定參考:上游與模型欄位(docs 站)](https://docs.gatellm.io/zh-CN/reference/upstreams-models-fields)

## 相關頁面
- [首頁](https://www.gatellm.io/zh-TW/index.md)
- [定價](https://www.gatellm.io/zh-TW/pricing.md)
- [成本計算器](https://www.gatellm.io/zh-TW/calculator.md)
- [關於](https://www.gatellm.io/zh-TW/about.md)
- [預約示範](https://www.gatellm.io/zh-TW/demo.md)
- [常見問題](https://www.gatellm.io/zh-TW/faq.md)
- [比較 AI 閘道](https://www.gatellm.io/zh-TW/compare.md)
- [比較 LiteLLM](https://www.gatellm.io/zh-TW/compare/litellm.md)
- [比較 OpenRouter](https://www.gatellm.io/zh-TW/compare/openrouter.md)
- [比較 Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-TW/compare/alibaba-cloud.md)
- [比較 Azure API Management](https://www.gatellm.io/zh-TW/compare/azure-apim.md)
- [比較 Apigee](https://www.gatellm.io/zh-TW/compare/apigee.md)
- [比較 Cloudflare AI Gateway](https://www.gatellm.io/zh-TW/compare/cloudflare.md)
- [比較 Kong AI Gateway](https://www.gatellm.io/zh-TW/compare/kong.md)
- [比較 Portkey](https://www.gatellm.io/zh-TW/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-portkey.md)
- [場景方案](https://www.gatellm.io/zh-TW/use-cases.md)
- [降低呼叫成本](https://www.gatellm.io/zh-TW/use-cases/reduce-cost.md)
- [達成高可用](https://www.gatellm.io/zh-TW/use-cases/high-availability.md)
- [多租戶隔離](https://www.gatellm.io/zh-TW/use-cases/multi-tenant.md)
- [合規與稽核](https://www.gatellm.io/zh-TW/use-cases/compliance-audit.md)
- [從症狀排障](https://www.gatellm.io/zh-TW/use-cases/troubleshooting.md)
- [混合多供應商模型堆疊](https://www.gatellm.io/zh-TW/use-cases/mixed-model-stack.md)
- [在 Office 內自架 AI](https://www.gatellm.io/zh-TW/use-cases/self-hosted-office-ai.md)
- [Token 用量可見性與歸因](https://www.gatellm.io/zh-TW/use-cases/token-ops.md)
- [Token FinOps: AI 支出分攤與管控](https://www.gatellm.io/zh-TW/use-cases/token-finops.md)
- [MCP 工具治理](https://www.gatellm.io/zh-TW/use-cases/mcp-tool-governance.md)
- [為所有模型統一加入網路搜尋](https://www.gatellm.io/zh-TW/use-cases/web-search-grounding.md)
- [限制接入的用戶端](https://www.gatellm.io/zh-TW/use-cases/client-admission-control.md)
- [強制模型使用政策](https://www.gatellm.io/zh-TW/use-cases/enforce-model-policy.md)
- [用戶端不暴露模型選擇](https://www.gatellm.io/zh-TW/use-cases/automatic-model-tiering.md)
- [一種協定,任何模型](https://www.gatellm.io/zh-TW/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 增益集](https://www.gatellm.io/zh-TW/office-addin.md)
- [術語表](https://www.gatellm.io/zh-TW/glossary.md)
- [模型目錄](https://www.gatellm.io/zh-TW/models.md)
- [SDK 與框架整合](https://www.gatellm.io/zh-TW/integrations.md)
- [AI Coding Agent 與 Harness](https://www.gatellm.io/zh-TW/coding-agents.md)
- [安全性與合規](https://www.gatellm.io/zh-TW/security.md)