# Mehrere Schlüssel pro Anbieter: gewichtete Verteilung, feste Bindung, Standby-Übernahme

> KI-Gateway mit mehreren API-Schlüsseln pro Upstream: deterministischer gewichteter Hash, feste Bindung pro Aufrufer, Standby-Übernahme bei weight=0, sichtbare Bindungen — orthogonal mit anbieterübergreifender Lastverteilung gestapelt.

Kanonisch: https://www.gatellm.io/de/use-cases/multi-key-pooling/

Hängen Sie mehrere API-Schlüssel an einen Upstream: gewichtete Verteilung, feste Bindung pro Aufrufer, Standby-Schlüssel mit weight=0 als Rückfall — kein hartes Warten mehr auf 429.

## Worüber die Community tatsächlich klagt
Reddit-Favoriten: „Die RPM eines OpenAI-Schlüssels reicht nicht, wie rotiere ich über mehrere Konten“, „ein Schlüssel erreicht 429 und das Geschäft wartet einfach“, „beim Schlüsselwechsel geht die gesamte Sitzungs-Cache-Affinität verloren“.
Eine eigene Rotation zu bauen bedeutet, Stickiness, Gewichte, Standby und Fehler-Eviction selbst zu handhaben — echte Engineering-Arbeit.

## Wie GateLLM es macht
Das GateLLM-Upstream-Formular akzeptiert mehrere API-Schlüssel: Ein deterministischer gewichteter Hash (FNV-1a) bindet jeden Aufrufer fest an denselben Upstream-Schlüssel (stabil innerhalb der TTL; das Rotieren eines Schlüssels an Ort und Stelle bricht die Stickiness nicht), und Gewichte bestimmen das Verteilungsverhältnis. Wenn ein Schlüssel ausfällt, wiederholt das Gateway den Versuch mit dem nächsten unversuchten Schlüssel innerhalb dieses Upstreams — ohne die ursprüngliche feste Bindung zu überschreiben.
Schlüssel mit weight=0 sind Standby und werden erst aktiviert, nachdem jeder Schlüssel mit weight>0 ausgefallen ist. Der Bindungsstatus (binding / predicted / stale) ist Zeile für Zeile in der Konsole sichtbar.
Der Mechanismus stapelt sich orthogonal mit Load Balancern: Smooth WRR wählt den Upstream über Einträge hinweg, dann wählt die feste Auswahl den Schlüssel darin.

## 5 Hebel, die tatsächlich wirken
- Gewichtete Multi-Keys: deterministischer gewichteter Hash verteilt Aufrufer, Gewichte sind Verhältnisse
- Feste Bindung: jeder Aufrufer bleibt innerhalb der TTL am selben Upstream-Schlüssel — Cache-Affinität
- Standby-Schlüssel: weight=0-Schlüssel bleiben aus der normalen Verteilung heraus, aktiviert erst nach Ausfall jedes aktiven Schlüssels
- Sichtbare Bindungen: binding-/predicted-/stale-Zustände Zeile für Zeile, automatische Aktualisierung alle 3 s
- Orthogonal zum LB: Schlüsselauswahl innerhalb eines Upstreams + Smooth WRR über Upstreams stapeln sich als zwei Ebenen

## FAQ
### Verliert die Schlüsselrotation die Prompt-Cache-Affinität?
Genau dafür gibt es die feste Bindung: Jeder Aufrufer bleibt innerhalb der TTL an denselben Upstream-Schlüssel gebunden und trifft den Cache desselben Anbieterkontos. Das Rotieren eines Schlüssels an Ort und Stelle bricht die Stickiness nicht; nur Hinzufügen / Entfernen / Umsortieren von Schlüsseln oder Ändern von Gewichten löst eine Neuauswahl aus.

### Wann greift ein Standby-Schlüssel?
weight=0-Schlüssel bleiben aus der normalen Verteilung heraus und werden erst aktiviert, nachdem jeder Schlüssel mit weight>0 versucht wurde und ausgefallen ist — und sie halten keine Bindung. Fällt ein Schlüssel im laufenden Betrieb aus, wiederholt das Gateway den Versuch mit dem nächsten unversuchten Schlüssel innerhalb desselben Upstreams, ohne die ursprüngliche feste Bindung zu überschreiben: spätere Anfragen dieses Aufrufers beginnen weiterhin mit dem ursprünglich gebundenen Schlüssel.

- [Vollständige Referenz: Upstream- und Modellfelder (Dokumentation)](https://docs.gatellm.io/en/reference/upstreams-models-fields)

## Verwandt
- [Startseite](https://www.gatellm.io/de/index.md)
- [Preise](https://www.gatellm.io/de/pricing.md)
- [Kostenrechner](https://www.gatellm.io/de/calculator.md)
- [Über uns](https://www.gatellm.io/de/about.md)
- [Demo buchen](https://www.gatellm.io/de/demo.md)
- [FAQ](https://www.gatellm.io/de/faq.md)
- [AI-Gateways vergleichen](https://www.gatellm.io/de/compare.md)
- [LiteLLM vergleichen](https://www.gatellm.io/de/compare/litellm.md)
- [OpenRouter vergleichen](https://www.gatellm.io/de/compare/openrouter.md)
- [Alibaba Cloud AI Gateway vergleichen](https://www.gatellm.io/de/compare/alibaba-cloud.md)
- [Azure API Management vergleichen](https://www.gatellm.io/de/compare/azure-apim.md)
- [Apigee vergleichen](https://www.gatellm.io/de/compare/apigee.md)
- [Cloudflare AI Gateway vergleichen](https://www.gatellm.io/de/compare/cloudflare.md)
- [Kong AI Gateway vergleichen](https://www.gatellm.io/de/compare/kong.md)
- [Portkey vergleichen](https://www.gatellm.io/de/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/de/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/de/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/de/compare/litellm-vs-portkey.md)
- [Anwendungsfälle](https://www.gatellm.io/de/use-cases.md)
- [LLM-Kosten senken](https://www.gatellm.io/de/use-cases/reduce-cost.md)
- [Hochverfügbarkeit](https://www.gatellm.io/de/use-cases/high-availability.md)
- [Multi-Tenant-Isolation](https://www.gatellm.io/de/use-cases/multi-tenant.md)
- [Compliance & Audit](https://www.gatellm.io/de/use-cases/compliance-audit.md)
- [Fehlerbehebung nach Symptom](https://www.gatellm.io/de/use-cases/troubleshooting.md)
- [Gemischter Multi-Vendor-Modellstack](https://www.gatellm.io/de/use-cases/mixed-model-stack.md)
- [KI im Office selbst hosten](https://www.gatellm.io/de/use-cases/self-hosted-office-ai.md)
- [Token-Nutzung: Transparenz & Zuordnung](https://www.gatellm.io/de/use-cases/token-ops.md)
- [Token-FinOps: KI-Kosten zuordnen & steuern](https://www.gatellm.io/de/use-cases/token-finops.md)
- [MCP-Tool-Governance](https://www.gatellm.io/de/use-cases/mcp-tool-governance.md)
- [Websuche für jedes Modell](https://www.gatellm.io/de/use-cases/web-search-grounding.md)
- [Zugangskontrolle für verbundene Clients](https://www.gatellm.io/de/use-cases/client-admission-control.md)
- [Modellrichtlinie durchsetzen](https://www.gatellm.io/de/use-cases/enforce-model-policy.md)
- [Keine Modellwahl im Client](https://www.gatellm.io/de/use-cases/automatic-model-tiering.md)
- [Ein Protokoll, jedes Modell](https://www.gatellm.io/de/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 Add-in](https://www.gatellm.io/de/office-addin.md)
- [Glossar](https://www.gatellm.io/de/glossary.md)
- [Modellkatalog](https://www.gatellm.io/de/models.md)
- [SDK- & Framework-Integrationen](https://www.gatellm.io/de/integrations.md)
- [KI-Coding-Agents & Harnesses](https://www.gatellm.io/de/coding-agents.md)
- [Sicherheit & Compliance](https://www.gatellm.io/de/security.md)