초급호출자 + 관리자
RAG를 세우지 않고 모든 모델에 웹 검색을
게이트웨이 계층 검색 주입: 클라이언트 프로토콜별로 네이티브 검색 블록을 합성해 오픈 모델도 검색 그라운딩을 얻습니다. 우아한 성능 저하, 가로챈 검색은 과금되지 않습니다.
커뮤니티가 실제로 불평하는 것
오픈 / 자체 호스팅 모델에는 검색이 없어 시간에 민감한 모든 것이 취약해지고, 그것만을 위해 RAG 스택을 세우기는 너무 무겁습니다. 벤더 검색 API는 형식과 호출당 가격이 각각 달라 모델을 바꿀 때마다 재통합해야 합니다.
"게이트웨이가 모든 모델에 검색을 추가해 줄 수 있나"는 통합 담당자의 반복 요청입니다.
GateLLM은 이렇게 합니다
GateLLM은 게이트웨이 계층에서 검색을 가로챕니다: 검색 엔진(serper, 바로 테스트 가능)을 구성한 뒤 모델별 3단 토글(기능 선언 따르기 / 강제 켜기 / 강제 끄기)이 어떤 모델에 검색을 적용할지 결정합니다. 적중 시 게이트웨이가 먼저 검색하고 결과를 참고 자료로 사용자 메시지에 주입한 뒤에야 업스트림 모델을 호출합니다 — 벤더 텍스트는 직접 반환되지 않습니다.
주입된 콘텐츠는 클라이언트 프로토콜별 네이티브 검색 블록(Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call)으로 합성되어, 클라이언트가 각 SDK의 네이티브 형식으로 인용을 렌더링합니다.
검색 실패는 요청을 막지 않고 우아하게 성능 저하되며, 가로챈 검색은 사용량 과금에서 제외됩니다.
실제로 효과가 있는 5가지 레버
- 엔진 관리: serper API 키 + 인라인 테스트 + 다중 엔진 우선순위
- 모델별 3단 토글: 기능 따르기 / 강제 켜기 / 강제 끄기, 우선순위 모델 > 업스트림 > 기능 선언
- 프로토콜별 네이티브 검색 블록: Anthropic / OpenAI / Responses가 각자의 인용 형식을 렌더링
- 안전한 성능 저하: 검색 실패가 요청을 막지 않으며, 저하 사유가 로그 상세 알림 영역에 기록됨
- 과금 투명성: 가로챈 검색은 사용량 과금에서 제외, 메모리 사용량에는 문서화된 상한 공식이 있음