Дайте каждой модели веб-поиск — без поднятия RAG
Инъекция поиска на уровне шлюза: нативные блоки поиска, синтезированные для каждого клиентского протокола, поэтому открытые модели тоже получают поисковую опору. Корректная деградация, а перехваченный поиск не тарифицируется.
На что на самом деле жалуется сообщество
У открытых / self-hosted моделей нет поиска, поэтому всё, что зависит от времени, их подводит; поднимать стек RAG только ради этого слишком тяжело. Поисковые API производителей имеют собственный формат и цену за вызов, поэтому каждая смена модели означает повторную интеграцию.
«Может ли шлюз просто добавить поиск для всех моделей» — повторяющийся запрос интеграторов.
Как это делает GateLLM
GateLLM перехватывает поиск на уровне шлюза: настройте поисковый движок (serper, проверяется прямо в консоли), затем переключатель для каждой модели (следовать объявленным возможностям / принудительно включить / принудительно выключить) решает, каким моделям давать поиск. При срабатывании шлюз сначала извлекает результаты, вставляет их в сообщение пользователя как справочный материал и только затем вызывает upstream-модель — текст производителя никогда не возвращается напрямую.
Вставленное содержимое синтезируется в нативные блоки поиска для каждого клиентского протокола (Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call), поэтому клиенты отображают цитаты в нативном формате каждого SDK.
Сбои поиска деградируют корректно, не блокируя запрос, а перехваченный поиск исключается из биллинга использования.
5 рычагов, которые действительно работают
- Управление движками: API-ключ serper + проверка в консоли + приоритет нескольких движков
- Переключатель для каждой модели: следовать возможностям / принудительно включить / принудительно выключить, приоритет модель > upstream > объявленные возможности
- Нативные блоки поиска для каждого протокола: Anthropic / OpenAI / Responses отображают собственный формат цитат
- Безопасная деградация: сбой поиска никогда не блокирует запрос; причины деградации попадают в область уведомлений детализации лога
- Прозрачность биллинга: перехваченный поиск исключается из биллинга использования; использование памяти имеет документированную формулу потолка