Isolamento multi-tenant: grupos de chaves, regras de cabeçalho, cobrança por tenant
Grupos de chaves separam modelos e balanceadores, regras de cabeçalho distinguem clientes, limite de taxa e cobrança por tenant — várias equipes em um gateway, custos e permissões cristalinos.
Do que a comunidade realmente reclama
Reddit: "50 engenheiros, o financeiro pergunta quem gastou os $400 mil." Várias equipes em uma única chave de API significa que ninguém consegue dizer quem gastou o quê.
Relays também misturam as chaves de todos os tenants, deixam os dados de tenants se cruzarem e não conseguem limitar taxa por tenant.
Como o GateLLM faz isso
O GateLLM usa grupos de chaves para separar modelos e balanceadores — cada tenant recebe chaves e cotas independentes; regras de cabeçalho (Header ACL) distinguem clientes por User-Agent / cabeçalho personalizado para política diferenciada; limite de taxa e cobrança por tenant são atribuídos de forma independente. Marque cada chave de tenant com tag e você também pode agregar custo entre tenants por tag.
No modelo BYOK, as chaves vivem apenas em memória, então os tenants são isolados por construção — nunca misturados, nunca exfiltrados.
5 alavancas que realmente funcionam
- Grupos de chaves: separe modelos e balanceadores por tenant
- Regras de cabeçalho (Header ACL): distinga clientes por User-Agent / cabeçalho personalizado
- Limite de taxa por tenant: cotas independentes de RPM / TPM / orçamento
- Cobrança por tenant: atribuição de custo e faturamento independentes
- Chaves apenas em memória: isolamento de tenant por construção, nunca misturadas ou exfiltradas