AI 게이트웨이 FAQ

게이트웨이가 토큰에 마진을 붙이지 않고 인스턴스당 라이선스될 때만 그렇습니다. GateLLM은 2GB 인스턴스당 라이선스되며(Pro 월 $400) 토큰당 마진도, 플랫폼이나 결제 추가 요금도 없습니다 — 제공자에게 표준 요금을 지불합니다. 실제 절감은 조합(Composition)에서 나옵니다: 최상위 모델(Claude Opus)이 계획하고 오픈 SOTA 모델(GLM / Qwen / DeepSeek)이 실행해 약 1/7 비용이 됩니다. SaaS 집계 서비스는 보통 약 5–8%의 플랫폼 + 결제 수수료를 더합니다: 볼륨이 크면 무시할 수 없는 숨은 비용입니다.

솔직한 기준: 단일 제공자, 단일 팀, 규정 준수 제약 없음, 월 지출이 감당 가능한 수준이라면 API를 직접 호출하는 편이 더 단순하며 게이트웨이가 필요하지 않습니다. 게이트웨이는 다중 제공자 페일오버, 팀별 비용 귀속, 규정 준수 / 데이터 상주, 폭주 지출에 대한 실시간 가시성이 필요해질 때부터 값을 합니다. 정말 필요해지기 전에 도입하지 마세요.

단일 제공자 직접 호출은 단일 장애점이라, 장애 하나로 앱 전체가 멈춥니다. GateLLM은 제공자 간 폴백을 지원합니다: 기본 제공자가 5xx를 반환하거나 시간 초과하면 코드 변경 없이 트래픽이 백업 제공자로 이동합니다. 별도로, 더 중요한 호출은 오케스트레이션 계층에서 멀티 모델 코드 리뷰를 실행할 수 있습니다(예: GitHub Actions 병렬 리뷰) — 게이트웨이가 프로토콜 상호 운용을 제공해 여러 모델이 같은 요청을 검토합니다.

SaaS 게이트웨이는 네트워크를 나가는 홉을 하나 더 추가합니다. GateLLM은 VPC 내부에 자체 호스팅되며, 벤더 API로 가는 추가 홉은 로컬 프로세스 간 통신입니다 — 1밀리초 미만의 오버헤드로, 스트리밍 첫 토큰 시간에 미치는 영향은 무시할 수준입니다.

예. GateLLM 조합(Composition)은 모드 인식 정책을 지원합니다: 관리자가 계획 / 실행 계층을 고정해 — 계획에는 최상위 클로즈드 모델, 실행에는 오픈 SOTA — 약 14% 비용으로 약 97% 성능을 냅니다. 토큰 수나 복잡도로 분류해 동적으로 라우팅할 수도 있어, 모든 트래픽이 가장 비싼 모델로 몰리는 일을 막습니다.

품질이 낮은 프록시는 그렇습니다: 스트림을 버퍼링하거나, tool_calls JSON 조각을 깨뜨리거나, 벤더 간 도구 호출 형식 차이에서 걸립니다. GateLLM은 스트림을 버퍼링 없이 네이티브로 통과시키고 기능 정규화를 수행합니다 — 도구 호출, 구조화 출력, 프롬프트 캐시, 추론 토큰과 나머지 세 가지 벤더 간 결합 지점을 하나의 인터페이스 뒤로 통합해, 벤더 간 모델 혼합이 형식 변동으로 깨지지 않습니다.

릴레이는 자체 서버를 통해 요청을 전달합니다 — 프롬프트, 키, 출력이 모두 그쪽에 노출되며, 모델 대체, 성능 저하, 운영자 잠적 위험이 실제로 있습니다(CISPA 연구는 모델 지문 테스트의 45.83%에서 아이덴티티 검증 실패를 발견했습니다, arxiv.org/abs/2603.01919). GateLLM은 BYOK이자 자체 호스팅입니다: 키는 게이트웨이 메모리에만 있고, 요청은 벤더 API로 곧장 가며, 경로에 제3자가 없습니다 — 대체하거나 저하시키거나 사라질 여지가 없습니다.

예. GateLLM은 네트워크 내부에 완전히 배포됩니다 — 데이터가 절대 나가지 않아 데이터 반출 규정을 충족합니다. DashScope 프로토콜을 네이티브로 사용해 국내 모델(Tongyi / Zhipu / DeepSeek / Doubao)에 도달합니다. 조합(Composition)으로 클로즈드 모델 트래픽을 줄여 국경 간 호출을 줄입니다.

월말 인보이스는 너무 늦습니다. GateLLM Token Ops는 요청별 비용을 팀 / 에이전트 / 모델 / 클라이언트별로 귀속하고 실시간 소진 속도를 보여주며, 호출을 실제로 중단하는 에이전트별 예산 상한을 제공합니다. 크래시 안전 과금(선차감 → 정산 → 환급)은 프로세스가 중단되어도 정확하며, 관리 API가 대사 데이터를 사내 빌링 시스템으로 내보냅니다.

SaaS 집계 서비스라면 그 말을 믿는 수밖에 없습니다 — 마진을 챙기려고 조용히 더 작은 모델로 바꾸지 않았다는 암호학적 검증이 없습니다(OpenRouter 자체도 모델 아이덴티티 검증을 하지 않습니다). GateLLM은 BYOK이자 자체 호스팅입니다: 자체 키를 사용하고 요청은 게이트웨이에서 벤더 API 엔드포인트로 곧장 갑니다 — 모델 아이덴티티는 벤더 API 자체가 보장하며, 중간에 교체 가능한 홉이 없습니다.

예. OpenAI SDK의 base_url을 GateLLM으로 지정하면(/v1 포함) 다른 코드 변경 없이 하나의 통합 인터페이스로 모든 모델을 호출합니다. base_url 한 번 교체로 마이그레이션이 끝납니다: 기능 변동도, 프록시 심도 없이 OpenAI 클라이언트가 벤더와 동등한 통합 엔드포인트를 직접 구동합니다.

아니요 — 하나의 게이트웨이가 셋 다 서비스합니다. OpenAI SDK의 base_url을 게이트웨이로 지정하고(/v1 포함), Anthropic SDK는 게이트웨이 루트를 가리키며(SDK가 스스로 /v1/messages를 붙이고 키는 x-api-key 헤더로), Google Gemini SDK는 바로 연결됩니다(키는 x-goog-api-key 헤더). 게이트웨이는 네 가지 인그레스 + 네 가지 이그레스 프로토콜(OpenAI / Anthropic / Gemini / DashScope)을 양방향 번역합니다 — 클라이언트와 업스트림 프로토콜이 달라도 됩니다: 코드 변경 없이 OpenAI SDK에서 Claude를, Anthropic SDK에서 GPT를, Gemini SDK에서 DeepSeek를 호출할 수 있습니다. Cherry Studio 같은 서드파티 클라이언트는 OpenAI 호환 인그레스를 사용합니다. 프로토콜 상호 운용 매트릭스는 docs.gatellm.io의 reference/protocol-matrix를 참고하세요.

예. Bedrock은 업스트림으로 연결됩니다(aws_converse / aws_invoke 프로토콜, Bedrock API 키 + 리전 런타임 엔드포인트, 추론 프로필 지원). 클라이언트는 OpenAI / Anthropic / Gemini SDK를 계속 사용하고 게이트웨이가 프로토콜을 번역합니다. Bedrock에 호스팅된 Claude / GLM과 벤더 직접 모델을 같은 라우팅 / 로드 밸런서 아래 하나의 거버넌스 플레인에서 섞을 수 있습니다.

예. 게이트웨이에는 내장 MCP 프록시가 있습니다: 여러 외부 MCP 도구 서버(streamable HTTP / SSE)를 하나의 /mcp 엔드포인트 뒤로 집계해, Claude Desktop이나 모든 MCP 클라이언트가 게이트웨이 키 하나로 전부 호출할 수 있습니다. 키 그룹별 도구 ACL과 컨텍스트 예산이 액세스를 통제하며, 도구 목록이 길어지면 내장 BM25 검색을 사용합니다. 도구 승인, 속도 제한, 감사는 모델 트래픽과 같은 거버넌스 플레인을 공유합니다.

예. 게이트웨이는 /v1/realtime(OpenAI Realtime 및 DashScope Realtime 프로토콜)에서 WebSocket 세션을 브리지합니다. 장수명 음성 세션은 HTTP 트래픽과 병렬로 실행됩니다: 동일한 키 인증과 승인, 턴 단위 계량(response.create → response.done)이 HTTP와 같은 통계 / 과금 / 로그 파이프라인으로 들어가 — 하나의 일관된 비용 원장을 이룹니다.

다섯 계층입니다: 키 그룹이 각 테넌트가 도달할 수 있는 모델과 로드 밸런서의 범위를 정하고, 액세스 키 + Header ACL 규칙이 요청 헤더로 클라이언트를 구분하며, 아이덴티티 범위 모델 매핑이 같은 모델 이름을 테넌트별로 다른 업스트림으로 라우팅하고, 키별 RPM / 동시성 / TPM 한도가 사용량을 제한하며, 요청별 비용 귀속으로 각 테넌트가 자기 지출만 보게 합니다. 멀티 테넌트 격리 가이드는 docs.gatellm.io의 usecases/multi-tenant-isolation을 참고하세요.

예. GateLLM은 게이트웨이 계층에서 검색을 가로챕니다: 검색 엔진(serper, 콘솔에서 바로 테스트 가능)을 구성한 뒤 모델별 3단 토글(기능 선언 따르기 / 강제 켜기 / 강제 끄기)로 주입을 제어합니다. 결과는 클라이언트 프로토콜별 네이티브 검색 블록(Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call)으로 합성됩니다 — 오픈 모델도 검색 그라운딩을 얻습니다. 검색 실패는 요청을 막지 않고 우아하게 성능 저하되며, 가로챈 검색은 사용량 과금에서 제외됩니다. docs.gatellm.io의 console/search를 참고하세요.

예. 하나의 업스트림이 여러 API 키를 가중 분배로 보유할 수 있습니다: 결정적 가중 해시(FNV-1a)가 각 호출자를 같은 키에 고정 바인딩하고(캐시 친화성), 키가 실패하면 게이트웨이가 그 업스트림 안에서 아직 시도하지 않은 다음 키로 재시도합니다. weight=0인 키는 대기 상태로, weight>0인 모든 키가 실패한 뒤에만 사용됩니다. 바인딩 상태는 콘솔에서 행 단위로 확인할 수 있습니다. docs.gatellm.io의 reference/upstreams-models-fields를 참고하세요.

예. OpenAI 호환 엔드포인트라면 업스트림으로 쓸 수 있습니다: 사용자 정의 base URL을 설정하면 vLLM / Ollama / TGI 서비스가 클라우드 벤더와 함께 거버넌스됩니다. 아웃바운드 프록시(socks5 / http), 사용자 정의 요청 헤더, 업스트림별 DNS를 모두 구성할 수 있어 사설 네트워크와 특수 토폴로지에 맞출 수 있습니다.

YAML이 필요 없습니다. GateLLM은 시각적 콘솔을 제공합니다: 업스트림 / 모델 / 로드 밸런서 / 액세스 제어 / MCP / 통계 / 로그를 모두 GUI에서 구성하고, 중국어/영어를 즉시 전환할 수 있습니다. 배치 변경은 스테이징 → 미리보기(전체 네임스페이스 충돌 집합) → 원자적 커밋을 거치며, 충돌이 있으면 배치 전체가 롤백됩니다. 콘솔 계정은 admin / monitor(읽기 전용) 역할이 있고, 모든 작업과 로그인이 감사됩니다.

LiteLLM은 훌륭한 오픈소스 LLM 프록시입니다. GateLLM과 LiteLLM은 기능 기준선(라우팅, 도구 호출, 구조화 출력, 캐싱, OIDC + SAML 2.0 + SCIM을 통한 SSO)을 공유합니다. GateLLM의 차별점은 단일 Rust 바이너리, 15가지 프로토콜 형태(네 가지 채팅 프로토콜 계열은 임의 방향 번역, 나머지는 상호 운용 매트릭스 기준), 게이트웨이 측 캐시 자동 주입, YAML 없는 콘솔입니다. LiteLLM은 엔터프라이즈 생태계(시크릿 관리자, 서드파티 가드레일 콜백, 관측성 콜백)에서 앞섭니다. /compare/litellm을 참고하세요.

예. VPC에 완전 자체 호스팅되며, BYOK 키는 메모리에만 있고 디스크에 남지 않습니다. 엔터프라이즈 SSO(OIDC: Azure AD / Okta / 범용, 추가로 SAML 2.0 및 SCIM 2.0 자동 프로비저닝), 내보낼 수 있는 요청 수준 감사 로그, GDPR 대응, SOC 2 Type II / ISO 27001 통제 정렬(인증 준비 중)을 제공합니다. /security를 참고하세요.

Console → Settings → Billing에서 해당 모델의 수동 가격 스냅샷을 만드세요 — 고정(pinned)으로 표시됩니다(노란 배지). 고정 가격은 현재 가격이 되어 아래의 자동 기준선을 덮으며, 시스템 새로고침은 그 모델을 건너뛰고 수동 가격을 절대 덮어쓰지 않습니다. 삭제하면 다음 자동 행으로 폴백되어 스스로 복구됩니다.

아니요. 가격 스냅샷은 created_at 순으로 정렬되며 각각 자기 [시작 시각, 다음 시각) 창만 커버합니다 — 가장 이른 것이 과거를 백필하고, 가장 늦은 것이 미래로 무한히 확장됩니다. 미래 적용 시각으로 새 스냅샷을 만들면 인하를 미리 예약해 이후 월에만 영향을 주고, 과거 가격을 백필하면 지난 월 비용을 정확히 계산할 수 있습니다.

액세스 키에 일일 / 월간 비용 할당량(USD 금액)을 설정하세요 — UTC 달력일과 월 기준으로 독립 판정되는 두 주기로, 둘 중 하나라도 초과하는 순간 429 quota_exceeded를 반환하고 서비스를 중단합니다(일일 창에는 Retry-After 포함). 할당량은 키 → 그룹 → 전역으로 상속되며, 그룹 할당량은 그룹 내 키별 상한이고(공유 원장이 아님), 그룹 간에는 가장 넓은 값이 적용됩니다.