Dê busca na web a todos os modelos — sem montar RAG
Injeção de busca na camada do gateway: blocos de busca nativos sintetizados por protocolo de cliente, para que modelos abertos também ganhem fundamentação por busca. Degradação suave, e a busca interceptada não é cobrada.
Do que a comunidade realmente reclama
Modelos abertos / auto-hospedados não têm busca, então qualquer coisa sensível ao tempo os expõe; montar uma pilha de RAG só para isso é pesado demais. As APIs de busca dos fornecedores têm cada uma seu próprio formato e preço por chamada, então cada troca de modelo significa reintegrar.
"O gateway consegue simplesmente adicionar busca para todos os modelos" é um pedido recorrente de integradores.
Como o GateLLM faz isso
O GateLLM intercepta a busca na camada do gateway: configure um mecanismo de busca (serper, testável no próprio console), então uma alternância tripla por modelo (seguir a declaração de capacidade / forçar ligado / forçar desligado) decide quais modelos recebem busca. Em um acerto, o gateway recupera primeiro, injeta os resultados na mensagem do usuário como material de referência e só então chama o modelo upstream — o texto do fornecedor nunca é retornado diretamente.
O conteúdo injetado é sintetizado em blocos de busca nativos por protocolo de cliente (server_tool_use do Anthropic / url_citation do OpenAI / web_search_call do Responses), para que os clientes renderizem citações no formato nativo de cada SDK.
Falhas de busca degradam suavemente sem bloquear a requisição, e a busca interceptada é excluída da cobrança de uso.
5 alavancas que realmente funcionam
- Gestão de mecanismos: chave de API do serper + teste no console + prioridade entre vários mecanismos
- Alternância tripla por modelo: seguir a capacidade / forçar ligado / forçar desligado, precedência modelo > upstream > declaração de capacidade
- Blocos de busca nativos por protocolo: Anthropic / OpenAI / Responses renderizam cada um seu próprio formato de citação
- Degradação segura: falha de busca nunca bloqueia a requisição; os motivos de degradação chegam à área de avisos de detalhe do log
- Cobrança transparente: busca interceptada excluída da cobrança de uso; o uso de memória tem uma fórmula de teto documentada