初級呼叫方 + 管理員
給任意模型統一加聯網搜尋,不重寫 RAG
閘道器層搜尋劫持:按客戶端協議合成原生搜尋塊,開源模型也能 search grounding —— 失敗降級不阻塞,劫持搜尋不計入計費。
社群真正在抱怨什麼
開源 / 自託管模型沒有 search 能力,問時效性問題就露怯;為這事上一套 RAG 又太重。各家廠商的 search API 格式不一、按次計費,換個模型整合就得重做。
「能不能在閘道器層統一給所有模型加搜尋」是整合方反覆出現的訴求。
GateLLM 怎麼做
GateLLM 在閘道器層做搜尋劫持:設定搜尋引擎(serper,行內可測)後,按模型三態開關(跟隨能力宣告 / 強制開 / 強制關)決定哪些模型走搜尋;命中後先檢索、把結果作為參考資料注入使用者訊息,再調上游模型——絕不直接返回廠商文字。
注入內容按客戶端協議合成原生搜尋塊(Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call),客戶端拿到的是各 SDK 的原生引用格式。
搜尋失敗全降級、不阻塞請求,且劫持搜尋不計入用量計費。
落地的 5 個手段
- 引擎管理:serper API Key + 行內測試 + 多引擎優先順序
- 模型級三態開關:跟隨能力 / 強制開 / 強制關,優先鏈 模型 > 上游 > 能力宣告
- 協議原生搜尋塊:Anthropic / OpenAI / Responses 各歸各的引用格式
- 安全降級:搜尋失敗不阻塞請求,降級原因進日誌通知區
- 計費透明:劫持搜尋不計入用量計費,記憶體佔用有天花板公式