Governança de IA corporativa: as quatro perguntas de um CIO
Toda revisão executiva de gastos com IA termina em quatro perguntas. Cada resposta aqui aponta para um mecanismo já disponível e verificável — não para um roteiro.
Conceder acesso a modelos é fácil; governá-lo não é. As quatro perguntas abaixo decidem se um programa de IA passa pela primeira auditoria.
Quem usa qual modelo e quanto?
Cada requisição leva uma chave, um grupo de chaves e um modelo. O GateLLM registra tokens de entrada, saída e acertos de cache por requisição com resolução de um minuto, e expõe séries diárias e mensais por chave, grupo e modelo. O controle de admissão decide quais clientes podem se conectar, pela cabeçalho da requisição.
- •Uso e custo se desdobram por pessoa, chave, grupo de chaves e modelo, sem reconstruir logs.
- •O controle de admissão filtra por User-Agent nos escopos global, de grupo e de chave.
- •Registros por requisição mantêm o identificador necessário para rastrear uma chamada de ponta a ponta.
Quanto custa e quem paga?
O gasto é medido contra uma tabela de preços que é sua, não contra o preço de lista. Fixe seus preços negociados, marque chamadas com tags para rateio, exporte relatórios por janela e defina cotas diárias ou mensais que rejeitam requisições quando o orçamento acaba. O GateLLM não adiciona margem sobre tokens.
- •Snapshots da tabela por janela mantêm um relatório antigo reproduzível.
- •O rateio por tag transforma o gasto de IA em um livro alocável.
- •Cotas diárias e mensais retornam 429 no limite: um agente desgovernado para no número que você escolheu.
Os dados saíram da rede e podemos provar?
Você opera o gateway, então o tráfego de prompts e respostas nunca passa por nós. Com BYOK, as chaves dos provedores vivem apenas na memória do gateway. Credenciais e PII são detectadas no caminho da requisição e podem ser registradas, mascaradas ou bloqueadas por escopo; os corpos armazenados são mascarados em todos os pontos de saída.
- •As requisições vão apenas aos endpoints de modelo que você configurar, incluindo origens auto-hospedadas vLLM ou Ollama.
- •Logs de requisição vêm desligados; ver conteúdo bruto é restrito a administradores e auditado.
- •SSO via OIDC ou SAML mais provisionamento SCIM; chaves e cotas por tenant.
Se um provedor falhar ou trocarmos de modelo, quanto código muda?
Um 5xx ou timeout é repetido em outro provedor sem tocar no código da aplicação. Quatro famílias de protocolos de chat traduzem nos dois sentidos, então o cliente mantém seu SDK. A identidade do modelo é mapeada no gateway — por chave de acesso, por cabeçalho ou por regra catch-all — e os metadados de capacidade vêm de um registro.
- •Fallback entre provedores em 5xx ou timeout, sem mudança no cliente.
- •Listas de permissão de entrada e mapeamentos catch-all mantêm um nome de modelo estável enquanto o backend muda.
- •Metadados de capacidade vêm de um registro: a deriva de modelos não exige release.