初級管理員
一個廠商多個 Key:加權分流、粘性繫結與備用啟用
單上游掛多把 API Key:按權重分流、同一呼叫方粘性繫結、weight=0 備用 key 保底 —— 限流與單 key 故障不再硬等。
社群真正在抱怨什麼
Reddit 高頻:「OpenAI 一把 key 的 RPM 不夠用,多開幾個號怎麼輪詢」、「key 被限流 429,業務只能硬等」、「切 key 後同一會話的快取親和全丟」。
自己寫輪詢還要處理粘性、權重、備用與失敗摘除,工程量不小。
GateLLM 怎麼做
GateLLM 上游表單支援多把 API Key:確定性加權雜湊(FNV-1a)把同一呼叫方粘性繫結到同一把 key(TTL 內穩定,同位輪換不破黏性),權重決定分流比例;某把 key 失敗時在該上游內輪換到下一把未試過的 key 重試,但不覆蓋首次粘性繫結;weight=0 的 key 作備用,僅當所有 weight>0 的 key 都失敗後才啟用。
繫結狀態(binding / 預測 / stale)在控制台逐行可觀測。
與負載平衡器的跨上游 Smooth WRR 正交疊加:上游內選 key,負載平衡器跨上游選上游。
落地的 5 個手段
- 多 key 加權:確定性加權雜湊分流,權重即比例
- 粘性繫結:同一呼叫方 TTL 內粘在同一把上游 key,快取親和
- 備用 key:weight=0 不參與常規分流,所有活躍 key 失敗後才啟用
- 繫結可觀測:binding / 預測 / stale 狀態逐行可查,3s 自動重新整理
- 與 LB 正交:上游內選 key + 跨上游 Smooth WRR 疊加,雙層分流