# Несколько ключей на провайдера: взвешенное распределение, липкая привязка, резервное переключение

> AI-шлюз с несколькими API-ключами на upstream: детерминированный взвешенный хеш, липкая привязка каждого вызывающего, резервное переключение при weight=0, наблюдаемые привязки — ортогонально складывается с балансировкой между upstream.

Канонический URL: https://www.gatellm.io/ru/use-cases/multi-key-pooling/

Привяжите несколько API-ключей к одному upstream: взвешенное распределение, липкая привязка каждого вызывающего, резервные ключи с weight=0 как страховка — больше никаких жёстких ожиданий при 429.

## На что на самом деле жалуется сообщество
Любимые темы Reddit: «RPM одного ключа OpenAI не хватает, как ротировать между несколькими аккаунтами», «ключ упёрся в 429, и бизнес просто ждёт», «при смене ключа теряется всё сродство кеша сессии».
Собственная ротация означает самостоятельную реализацию липкости, весов, резерва и вытеснения при сбое — настоящая инженерная работа.

## Как это делает GateLLM
Форма upstream в GateLLM принимает несколько API-ключей: детерминированный взвешенный хеш (FNV-1a) липко закрепляет каждого вызывающего за одним и тем же ключом upstream (стабильно в пределах TTL; ротация ключа на месте не ломает липкость), а веса задают пропорции распределения. При отказе ключа шлюз повторяет запрос следующим непробованным ключом внутри этого upstream — не переопределяя исходную липкую привязку.
Ключи с weight=0 — резервные, включаются только после отказа всех ключей с weight>0. Состояние привязок (binding / predicted / stale) видно построчно в консоли.
Механизм ортогонально сочетается с балансировщиками: Smooth WRR выбирает upstream среди записей, затем липкий выбор определяет ключ внутри него.

## 5 рычагов, которые действительно работают
- Несколько ключей с весами: детерминированный взвешенный хеш распределяет вызывающих, веса — это пропорции
- Липкая привязка: каждый вызывающий остаётся на одном ключе upstream в пределах TTL — сродство кеша
- Резервные ключи: ключи с weight=0 не участвуют в обычном распределении, включаются только после отказа всех активных
- Наблюдаемые привязки: состояния binding / predicted / stale построчно, автообновление каждые 3 с
- Ортогональность балансировке: выбор ключа внутри upstream + Smooth WRR между upstream складываются в два слоя

## FAQ
### Теряется ли сродство кеша промптов при ротации ключей?
Липкая привязка существует именно для этого: каждый вызывающий остаётся привязанным к одному ключу upstream в пределах TTL, попадая в кеш одного и того же аккаунта производителя. Ротация ключа на месте не ломает липкость; повторный выбор запускают только добавление / удаление / переупорядочивание ключей или изменение весов.

### Когда срабатывает резервный ключ?
Ключи с weight=0 не участвуют в обычном распределении и включаются только после того, как все ключи с weight>0 были испробованы и отказали, — и они не держат привязку. Когда ключ отказывает на середине, шлюз повторяет запрос следующим непробованным ключом внутри того же upstream, не переопределяя исходную липкую привязку: последующие запросы этого вызывающего по-прежнему начинаются с изначально привязанного ключа.

- [Полный справочник: поля upstream и моделей (документация)](https://docs.gatellm.io/en/reference/upstreams-models-fields)

## Связанные страницы
- [Главная](https://www.gatellm.io/ru/index.md)
- [Тарифы](https://www.gatellm.io/ru/pricing.md)
- [Калькулятор стоимости LLM](https://www.gatellm.io/ru/calculator.md)
- [О нас](https://www.gatellm.io/ru/about.md)
- [Заказать демо](https://www.gatellm.io/ru/demo.md)
- [FAQ](https://www.gatellm.io/ru/faq.md)
- [Сравнить AI-шлюзы](https://www.gatellm.io/ru/compare.md)
- [Сравнить LiteLLM](https://www.gatellm.io/ru/compare/litellm.md)
- [Сравнить OpenRouter](https://www.gatellm.io/ru/compare/openrouter.md)
- [Сравнить Alibaba Cloud AI Gateway](https://www.gatellm.io/ru/compare/alibaba-cloud.md)
- [Сравнить Azure API Management](https://www.gatellm.io/ru/compare/azure-apim.md)
- [Сравнить Apigee](https://www.gatellm.io/ru/compare/apigee.md)
- [Сравнить Cloudflare AI Gateway](https://www.gatellm.io/ru/compare/cloudflare.md)
- [Сравнить Kong AI Gateway](https://www.gatellm.io/ru/compare/kong.md)
- [Сравнить Portkey](https://www.gatellm.io/ru/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ru/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ru/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ru/compare/litellm-vs-portkey.md)
- [Сценарии использования](https://www.gatellm.io/ru/use-cases.md)
- [Снижение затрат на LLM](https://www.gatellm.io/ru/use-cases/reduce-cost.md)
- [Высокая доступность](https://www.gatellm.io/ru/use-cases/high-availability.md)
- [Мультитенантная изоляция](https://www.gatellm.io/ru/use-cases/multi-tenant.md)
- [Комплаенс и аудит](https://www.gatellm.io/ru/use-cases/compliance-audit.md)
- [Диагностика по симптомам](https://www.gatellm.io/ru/use-cases/troubleshooting.md)
- [Смешанный стек моделей от разных поставщиков](https://www.gatellm.io/ru/use-cases/mixed-model-stack.md)
- [ИИ в собственном контуре внутри Office](https://www.gatellm.io/ru/use-cases/self-hosted-office-ai.md)
- [Видимость и атрибуция использования токенов](https://www.gatellm.io/ru/use-cases/token-ops.md)
- [Token FinOps: распределение и контроль затрат на ИИ](https://www.gatellm.io/ru/use-cases/token-finops.md)
- [Управление инструментами MCP](https://www.gatellm.io/ru/use-cases/mcp-tool-governance.md)
- [Веб-поиск для всех моделей](https://www.gatellm.io/ru/use-cases/web-search-grounding.md)
- [Контроль доступа подключённых клиентов](https://www.gatellm.io/ru/use-cases/client-admission-control.md)
- [Принудительная политика использования моделей](https://www.gatellm.io/ru/use-cases/enforce-model-policy.md)
- [Без выбора модели на клиенте](https://www.gatellm.io/ru/use-cases/automatic-model-tiering.md)
- [Один протокол — любая модель](https://www.gatellm.io/ru/use-cases/one-protocol-any-model.md)
- [Надстройка Office / Microsoft 365](https://www.gatellm.io/ru/office-addin.md)
- [Глоссарий](https://www.gatellm.io/ru/glossary.md)
- [Каталог моделей](https://www.gatellm.io/ru/models.md)
- [Интеграции SDK и фреймворков](https://www.gatellm.io/ru/integrations.md)
- [ИИ-агенты для кодирования и harness](https://www.gatellm.io/ru/coding-agents.md)
- [Безопасность и комплаенс](https://www.gatellm.io/ru/security.md)