용어집

일곱 가지 벤더 간 결합 지점(도구 호출, 구조화 출력, 프롬프트 캐시, 추론 토큰, 멀티모달, 과금, 오류 의미)을 하나의 인터페이스 뒤로 통합합니다. 벤더 간 모델을 혼합하기 위한 전제 조건입니다 — 그렇지 않으면 각 모델이 자체 호출 규약을 가져 전환마다 글루 코드가 필요합니다.

요청의 서로 다른 단계를 게이트웨이에서 서로 다른 모델로 라우팅합니다 — 아이덴티티 범위 모델 매핑과 계획 모드 전환. 대표 패턴: 최상위 클로즈드 모델(예: Claude Opus)이 계획하고 오픈 SOTA 모델(GLM / Qwen / DeepSeek)이 실행해 약 14% 비용으로 약 97% 성능을 냅니다. 콘솔에서 구성하며(규칙 + 스크립트), 클라이언트 코드 변경은 없습니다.

오케스트레이션 계층 패턴으로, 같은 프롬프트를 여러 모델에 병렬로 보내고 결과를 병합합니다. 팬아웃, 중복 제거, 신뢰도 주석은 오케스트레이션 계층(예: GitHub Actions)에 있고, 게이트웨이는 프로토콜 상호 운용과 통합 계량을 제공해 어떤 모델이든 참여하고 모든 트래픽이 중앙에서 거버넌스됩니다. 코드 리뷰처럼 중요한 호출에 적합합니다. 이 패턴의 출하 형태가 멀티 모델 코드 리뷰입니다(오케스트레이션 섹션 참조).

LLM API의 사용 측 운영 계층 — 관측성, 클라이언트 승인, 감사 추적, 프로그래밍 방식 관리. "누가 무엇을 얼마나 쓰고, 들어올 수 있는가"에 답합니다. Token FinOps(그 대응 개념)는 "토큰이 어떻게 돈이 되고, 누구에게 청구되며, 무엇이 막는가"에 답합니다. GateLLM은 이를 게이트웨이에 통합하며 토큰당 마진은 절대 없습니다.

FinOps의 가시성, 할당, 거버넌스를 토큰 지출에 적용하는 재무 통제 계층입니다: 자체 요율표가 토큰을 돈으로 바꾸고, 태그가 지출을 올바른 코스트 센터에 배분하며, 일일 / 월간 비용 할당량이 예산을 요청 차단 게이트로 바꿉니다. Token Ops를 보완합니다 — 전자가 사용량을 보고, 이것이 돈을 봅니다.

자체 모델 벤더 API 키를 가져옵니다. 키는 게이트웨이 메모리에만 있으며 저장되거나 전송되지 않습니다. 요청은 게이트웨이를 거쳐 벤더 API로 곧장 라우팅되며 GateLLM은 수수료를 받지 않습니다.