Geben Sie jedem Modell Websuche — ohne RAG aufzubauen
Suche-Injektion auf Gateway-Ebene: native Suchblöcke je Client-Protokoll synthetisiert, sodass auch offene Modelle Suchgrundlage erhalten. Sanfte Degradation, und abgefangene Suche wird nicht abgerechnet.
Worüber die Community tatsächlich klagt
Offene / selbst gehostete Modelle haben keine Suche, sodass alles Zeitkritische sie entlarvt; dafür eigens einen RAG-Stack aufzubauen ist zu aufwendig. Anbieter-Such-APIs haben jeweils ihr eigenes Format und ihre eigene Preisgestaltung pro Aufruf, sodass jeder Modellwechsel eine Neuintegration bedeutet.
„Kann das Gateway einfach Suche für alle Modelle hinzufügen“ ist eine wiederkehrende Anfrage von Integratoren.
Wie GateLLM es macht
GateLLM fängt die Suche auf Gateway-Ebene ab: Konfigurieren Sie eine Suchmaschine (serper, inline testbar), dann entscheidet ein Dreifach-Umschalter pro Modell (Capability-Deklaration folgen / erzwingen an / erzwingen aus), welche Modelle Suche erhalten. Bei einem Treffer ruft das Gateway zuerst ab, injiziert die Ergebnisse als Referenzmaterial in die Benutzernachricht und ruft erst dann das Upstream-Modell auf — Anbietertext wird nie direkt zurückgegeben.
Injizierter Inhalt wird je Client-Protokoll in native Suchblöcke synthetisiert (Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call), sodass Clients Zitate im nativen Format jedes SDK rendern.
Suchfehler degradieren sanft, ohne die Anfrage zu blockieren, und abgefangene Suche ist von der nutzungsbasierten Abrechnung ausgenommen.
5 Hebel, die tatsächlich wirken
- Engine-Verwaltung: serper-API-Schlüssel + Inline-Test + Priorität mehrerer Engines
- Dreifach-Umschalter pro Modell: Capability folgen / erzwingen an / erzwingen aus, Präzedenz Modell > Upstream > Capability-Deklaration
- Native Suchblöcke je Protokoll: Anthropic / OpenAI / Responses rendern jeweils ihr eigenes Zitatformat
- Sichere Degradation: Suchfehler blockieren die Anfrage nie; Degradationsgründe landen im Hinweisbereich der Log-Details
- Abrechnungstransparent: abgefangene Suche von der nutzungsbasierten Abrechnung ausgenommen; der Speicherverbrauch hat eine dokumentierte Obergrenzenformel