Изоляция мультитенантности: группы ключей, правила заголовков, биллинг по тенантам
Группы ключей разделяют модели и балансировщики, правила заголовков различают клиентов, ограничение частоты и биллинг по тенантам — несколько команд на одном шлюзе, затраты и права кристально прозрачны.
На что на самом деле жалуется сообщество
Reddit: «50 инженеров, а финансы спрашивают, кто потратил $400 тыс.». Несколько команд на одном API-ключе означают, что никто не может сказать, кто сколько потратил.
Релеи также смешивают ключи всех тенантов, допускают пересечение данных тенантов и не умеют ограничивать частоту по тенанту.
Как это делает GateLLM
GateLLM использует группы ключей для разделения моделей и балансировщиков — каждый тенант получает независимые ключи и квоты; правила заголовков (Header ACL) различают клиентов по User-Agent / пользовательскому заголовку для дифференцированной политики; ограничение частоты и биллинг по тенанту атрибутируются независимо. Помечайте ключ каждого тенанта тегом — и можно также агрегировать стоимость между тенантами по тегу.
В режиме BYOK ключи живут только в памяти, поэтому тенанты изолированы по построению — никогда не смешиваются и не похищаются.
5 рычагов, которые действительно работают
- Группы ключей: разделение моделей и балансировщиков по тенанту
- Правила заголовков (Header ACL): различение клиентов по User-Agent / пользовательскому заголовку
- Ограничение частоты по тенанту: независимые квоты RPM / TPM / бюджета
- Биллинг по тенанту: независимая атрибуция стоимости и выставление счетов
- Ключи только в памяти: изоляция тенантов по построению, никогда не смешиваются и не похищаются