Casos de uso de AI Gateway
Organizados por "o que você quer alcançar" — transformam capacidades do gateway em planos acionáveis, cada um com link para o passo a passo completo na documentação.
Estes casos de uso vêm do que desenvolvedores e arquitetos realmente perguntam no Reddit, StackOverflow e Zhihu — custo, alta disponibilidade, multi-tenancy, conformidade/auditoria e solução de problemas. Cada um liga dores da comunidade a capacidades do GateLLM e aponta para o guia completo e a referência de configuração na documentação.
Reduzir o custo de LLM
Dor: A fatura mensal chega, e só então você descobre que queimou $10 mil
Solução: BYOK, sem margem sobre tokens + Composição + atribuição de custo em tempo real
Alta disponibilidade
Dor: Uma indisponibilidade de provedor derruba o app inteiro
Solução: Failover multi-nó + fallback entre provedores + estado compartilhado entre instâncias
Isolamento multi-tenant
Dor: Uma chave de API compartilhada, sem ideia de quem gastou o quê
Solução: Grupos de chaves + Header ACL + limite de taxa e cobrança por tenant
Conformidade e auditoria
Dor: Os dados não podem sair do país, a PII precisa ser redigida, logs de auditoria são obrigatórios
Solução: Auto-hospedado + detecção de segredos no caminho da requisição + logs redigidos na saída + retenção
Diagnosticar por sintoma
Dor: O streaming quebrou / 429 / 502, sem ideia de onde travou
Solução: Rastreamento ponta a ponta por z-request-id + códigos de erro normalizados
Pilha de modelos mista entre fornecedores
Dor: Claude Code no Opus o tempo todo é caro demais; cair para o Sonnet degrada o planejamento
Solução: Fixe os melhores modelos por papel de agente entre fornecedores, zero alteração no cliente
IA no Office, dados na empresa
Dor: O Copilot encaminha contratos e modelos financeiros pela nuvem; arquivos sensíveis não podem sair da rede
Solução: Add-in Office auto-hospedado conectado ao seu próprio gateway, zero dependência de SaaS
Visibilidade e atribuição do uso de tokens
Dor: Uma chave compartilhada por uma dúzia de agentes — você só pode adivinhar quem está queimando dinheiro
Solução: Detalhe uso e custo por pessoa / chave / grupo de chaves × modelo
Transformar o gasto com IA em um extrato alocável
Dor: O preço de lista do fornecedor não é o seu custo real e não pode ser repassado às equipes
Solução: Tabela de preços própria + alocação por tag + cotas de custo diárias/mensais
Governança de ferramentas MCP
Dor: Agentes conectados a um monte de servidores MCP, sem controle de quem pode chamar qual ferramenta
Solução: Endpoint /mcp unificado + ACL por ferramenta + auditoria de chamadas
Busca na web para todos os modelos
Dor: Modelos abertos não têm busca; montar RAG só para isso é pesado demais
Solução: Injeção de busca no gateway + blocos de busca nativos + não cobrado
Rotação e espera de várias chaves
Dor: Uma chave atinge o limite de taxa 429 e o negócio simplesmente espera
Solução: Múltiplas chaves ponderadas + vínculo fixo + chaves em espera
Controle de admissão de clientes conectados
Dor: Qualquer chave vazada deixa qualquer cliente — um script, um SDK rival, um scraper — falar com seus modelos
Solução: Regras de Header ACL: permitir/negar por cabeçalho da requisição nos escopos global / grupo / chave
Impor qual modelo os agentes realmente executam
Dor: Um dev troca o Claude Code para Opus para resumir um changelog, e ninguém consegue impedir
Solução: Allowlist na entrada + mapeamento catch-all de modelo + divisão por script de modo de plano
Nenhuma escolha de modelo no cliente
Dor: Cada um tem um modelo diferente nas configurações, então o mesmo prompt sai diferente
Solução: Um nome de modelo no cliente; o gateway faz a divisão automática por plano vs execução
Um protocolo, qualquer modelo
Dor: Cada fornecedor extra significa outro SDK, outro esquema de autenticação, outro formato de streaming e outra gramática de chamada de ferramenta
Solução: Quatro famílias de protocolo de chat traduzem qualquer-para-qualquer; o cliente mantém o SDK que já tem