Dé búsqueda web a todos los modelos, sin montar RAG
Inyección de búsqueda en la capa del gateway: bloques de búsqueda nativos sintetizados por protocolo de cliente, para que los modelos abiertos también obtengan fundamento de búsqueda. Degradación elegante y la búsqueda interceptada no se factura.
De qué se queja realmente la comunidad
Los modelos abiertos y autoalojados no tienen búsqueda, así que cualquier cosa sensible al tiempo los deja en evidencia; montar una pila RAG solo para eso es demasiado pesado. Las API de búsqueda de cada proveedor tienen su propio formato y precio por llamada, así que cada cambio de modelo implica reintegrar.
"¿Puede el gateway simplemente añadir búsqueda para todos los modelos?" es una petición recurrente de los integradores.
Cómo lo hace GateLLM
GateLLM intercepta la búsqueda en la capa del gateway: configure un motor de búsqueda (serper, comprobable directamente en la consola) y luego un interruptor de tres estados por modelo (seguir la declaración de capacidad / forzar activación / forzar desactivación) decide qué modelos obtienen búsqueda. Cuando hay resultados, el gateway recupera primero, inyecta los resultados en el mensaje del usuario como material de referencia y solo entonces llama al modelo upstream: el texto del proveedor nunca se devuelve directamente.
El contenido inyectado se sintetiza en bloques de búsqueda nativos por protocolo de cliente (server_tool_use de Anthropic / url_citation de OpenAI / web_search_call de Responses), para que los clientes muestren las citas en el formato nativo de cada SDK.
Los fallos de búsqueda se degradan sin bloquear la solicitud, y la búsqueda interceptada se excluye de la facturación de uso.
5 palancas que realmente funcionan
- Gestión de motores: clave de API de serper + prueba directa + prioridad entre varios motores
- Interruptor de tres estados por modelo: seguir la capacidad / forzar activación / forzar desactivación, con precedencia modelo > upstream > declaración de capacidad
- Bloques de búsqueda nativos por protocolo: Anthropic / OpenAI / Responses muestran cada uno su propio formato de cita
- Degradación segura: un fallo de búsqueda nunca bloquea la solicitud; los motivos de degradación aparecen en el área de avisos de detalle del log
- Facturación transparente: la búsqueda interceptada se excluye de la facturación de uso; el uso de memoria tiene una fórmula de techo documentada