Glossário

Unifica os sete pontos de acoplamento entre fornecedores (chamada de ferramentas, saída estruturada, cache de prompt, tokens de raciocínio, multimodal, cobrança, semântica de erros) atrás de uma interface. É o pré-requisito para misturar modelos de fornecedores diferentes — caso contrário, cada modelo tem sua própria convenção de chamada e cada troca exige código de cola.

Roteia fases diferentes da requisição para modelos diferentes no gateway — mapeamento de modelo por identidade mais troca por modo de plano. O padrão canônico: um modelo fechado de primeira linha (por exemplo, Claude Opus) planeja enquanto modelos SOTA abertos (GLM / Qwen / DeepSeek) executam — ~14% do custo por ~97% da capacidade. Configurado no console (regras + scripts), sem alteração no código do cliente.

Um padrão da camada de orquestração — executar o mesmo prompt em vários modelos em paralelo e mesclar os resultados. O fan-out, a deduplicação e a anotação de confiança ficam na sua camada de orquestração (por exemplo, GitHub Actions); o gateway fornece interoperabilidade de protocolo e medição unificada, então qualquer modelo entra e todo o tráfego permanece governado centralmente. Indicado para chamadas de alto risco, como revisão de código. A variante distribuída desse padrão é a revisão de código multi-modelo (veja a seção de orquestração).

A camada operacional do lado do uso para APIs de LLM — observabilidade, admissão de clientes, trilhas de auditoria e gestão programática. Ela responde "quem está usando o quê, quanto, e consegue entrar"; o Token FinOps (sua contraparte) responde "como os tokens viram dinheiro, a quem são cobrados e o que os impede". O GateLLM integra isso ao gateway — nunca uma margem por token.

A camada de controle financeiro que aplica visibilidade, alocação e governança de FinOps ao gasto com tokens: uma tabela de preços própria transforma tokens em dinheiro, as tags levam o gasto ao centro de custo certo, e as cotas de custo diárias / mensais transformam orçamentos em bloqueios de requisição. Complementa o Token Ops — este vê o uso, aquele vê o dinheiro.

Você traz suas próprias chaves de API de fornecedores de modelos. As chaves vivem apenas na memória do gateway — nunca persistidas nem transmitidas; as requisições passam pelo gateway direto para as APIs dos fornecedores. O GateLLM não fica com nenhuma comissão.