Plusieurs clés par fournisseur : distribution pondérée, liaison persistante, prise de relais des clés en veille
Attachez plusieurs clés API à un même amont : distribution pondérée, liaison persistante par appelant, clés en veille de poids 0 comme filet de sécurité — fini les attentes bloquantes sur 429.
Ce dont la communauté se plaint réellement
Les favoris de Reddit : « le RPM d’une clé OpenAI ne suffit pas, comment tourner sur plusieurs comptes », « une clé atteint 429 et l’activité attend », « changer de clé fait perdre toute l’affinité de cache de session ».
Faire sa propre rotation signifie gérer soi-même la persistance, les poids, la veille et l’éviction en cas d’échec — un vrai travail d’ingénierie.
Comment GateLLM procède
Le formulaire d’amont GateLLM accepte plusieurs clés API : un hachage pondéré déterministe (FNV-1a) lie durablement chaque appelant à la même clé amont (stable pendant le TTL ; remplacer une clé sur place ne casse pas la liaison), et les poids fixent le ratio de distribution. Lorsqu’une clé échoue, la passerelle réessaie avec la clé suivante non essayée dans cet amont — sans écraser la liaison persistante d’origine.
Les clés de poids 0 sont en veille, activées seulement après l’échec de toutes les clés de poids >0. L’état de liaison (liaison / prédiction / obsolète) est observable ligne par ligne dans la console.
Le mécanisme se combine orthogonalement avec les répartiteurs de charge : Smooth WRR choisit l’amont entre les entrées, puis la sélection persistante choisit la clé à l’intérieur.
5 leviers qui portent réellement
- Plusieurs clés pondérées : un hachage pondéré déterministe distribue les appelants, les poids sont des ratios
- Liaison persistante : chaque appelant reste sur la même clé amont pendant le TTL — affinité de cache
- Clés en veille : les clés de poids 0 restent hors de la distribution normale, activées seulement après l’échec de toutes les clés actives
- Liaisons observables : états liaison / prédiction / obsolète ligne par ligne, actualisés toutes les 3 s
- Orthogonal au répartiteur : sélection de clé dans un amont + Smooth WRR entre amonts s’empilent en deux couches