RAG を構築せずに、すべてのモデルへ Web 検索を

オープン / セルフホストのモデルには検索がなく、時間に敏感な話題では弱点が露呈します。そのためだけに RAG スタックを構築するのは重すぎます。ベンダーの検索 API はそれぞれ形式と従量課金が異なるため、モデルを切り替えるたびに再統合が必要です。

「ゲートウェイですべてのモデルに検索を追加できないか」は、インテグレーターから繰り返し出る要望です。

GateLLM はゲートウェイ層で検索をハイジャックします。検索エンジン（serper、インラインでテスト可能）を設定し、モデル単位の三状態トグル（ケイパビリティ宣言に従う / 強制オン / 強制オフ）でどのモデルに検索を付けるかを決めます。ヒット時はゲートウェイが先に検索し、結果を参考資料としてユーザーメッセージに注入してから、アップストリームモデルを呼びます。ベンダーのテキストが直接返ることはありません。

注入された内容はクライアントのプロトコルごとにネイティブな検索ブロック（Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call）に合成されるため、クライアントは各 SDK のネイティブ形式で引用を描画します。

検索の失敗はリクエストをブロックせずグレースフルにデグラデーションし、ハイジャックした検索は利用量の課金対象外です。