Aislamiento multiusuario: grupos de claves, reglas de cabecera y facturación por inquilino
Los grupos de claves separan modelos y balanceadores, las reglas de cabecera distinguen a los clientes y la limitación de velocidad y la facturación son por inquilino: varios equipos en un solo gateway, con costos y permisos claros.
De qué se queja realmente la comunidad
Reddit: "50 ingenieros y el equipo de finanzas preguntan quién gastó los $400 mil". Varios equipos con una sola clave de API significa que nadie puede decir quién gastó qué.
Los relés además mezclan todas las claves de los inquilinos, dejan cruzar los datos entre inquilinos y no pueden limitar la velocidad por inquilino.
Cómo lo hace GateLLM
GateLLM usa grupos de claves para separar modelos y balanceadores: cada inquilino obtiene claves y cuotas independientes; las reglas de cabecera (Header ACL) distinguen a los clientes por User-Agent o cabecera personalizada para aplicar políticas diferenciadas; la limitación de velocidad y la facturación por inquilino se atribuyen de forma independiente. Etiquete cada clave de inquilino y también podrá agregar el costo entre inquilinos por etiqueta.
Con BYOK, las claves viven solo en memoria, así que los inquilinos están aislados por construcción: nunca se mezclan ni se exfiltran.
5 palancas que realmente funcionan
- Grupos de claves: separan modelos y balanceadores por inquilino
- Reglas de cabecera (Header ACL): distinguen a los clientes por User-Agent o cabecera personalizada
- Limitación de velocidad por inquilino: cuotas independientes de RPM / TPM / presupuesto
- Facturación por inquilino: atribución de costos y facturación independientes
- Claves solo en memoria: aislamiento de inquilinos por construcción, nunca mezcladas ni exfiltradas