최상위 모델이 계획하고, 오픈 SOTA가 실행합니다. 비용은 1/7입니다.
최상위 모델은 계획을 담당하고, 오픈 SOTA 모델이 일상적인 90%를 처리합니다. 이 조합이 청구서를 약 1/7로 낮춥니다 — 숫자는 여기서 주장하는 것이 아니라 계산기에서 실시간으로 산출됩니다.
- ✓모델 혼합: Claude Opus가 계획하고 DeepSeek / Qwen이 실행 — 비용은 약 1/7, 최대 90% 절감
- ✓어떤 모델이 실제로 실행될지는 게이트웨이가 결정: 클라이언트 설정과 무관하게, 착지 모델은 관리자가 고정한 모델 — 인그레스 허용 목록 + 와일드카드 "*" 매핑
- ✓프로토콜 하나면 충분: OpenAI 또는 Anthropic으로 말하면 네 가지 채팅 프로토콜 계열(OpenAI / Anthropic / Gemini / DashScope) 뒤의 모델에 도달 — 모델을 바꿔도 코드는 그대로
- ✓데이터는 온프레미스에 유지: 완전 자체 호스팅, 프롬프트가 우리에게 오지 않음; 자격 증명과 PII를 요청 경로에서 탐지 — 범위별 로그 / 마스킹 / 차단
from openai import OpenAI
# One line change: point your SDK at your own gateway
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gateway-api-key",
)
# Existing code unchanged — the gateway routes each request
# to the right model tier (planning vs execution) per your console policy
resp = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Plan the architecture"}],
)단일 모델로는 못 하는, 게이트웨이가 하는 세 가지
모델을 혼합해 비용을 줄이고, 실제로 실행되는 모델을 강제하고, 클라이언트 코드를 하나의 프로토콜로 유지합니다.
100개 이상의 LLM 제공자 · 30개 이상의 SDK 및 프레임워크와 통합
- OpenAI
- Anthropic
- DeepSeek
- Qwen
- ERNIE
- Kimi
- Zhipu
- Mistral
- Cohere
직접 확인하세요
말만 믿으라고 하기보다 문서를 공개합니다. 이 페이지의 모든 주장에는 상담 전에 읽어보실 수 있는 근거 자료가 있습니다.
하나의 인터페이스로 모든 모델을 조합합니다
단순한 모델 라우팅부터 멀티 모델 오케스트레이션까지, GateLLM은 엔터프라이즈급 기능을 폭넓게 제공합니다.
멀티 모델 라우팅
하나의 인터페이스로 모든 모델을 호출합니다. 지능형 폴백, 로드 밸런싱, 자동 재시도를 제공합니다.
- 100개 이상의 LLM 제공자를 하나의 API로
- 지능형 폴백 라우팅
- 로드 밸런싱 및 속도 제한
- 업스트림 키 풀링: 한 호출자는 한 키에 고정되고, 실패 시 다음 키로 페일오버
- Ollama / vLLM / llama.cpp를 openai 호환 업스트림으로 사용, 하나의 거버넌스 플레인
조합(Composition)
계획 모드, 아이덴티티, 요청 형태에 따라 계층 라우팅을 수행합니다. 계획은 최상위 모델이, 실행은 오픈 SOTA가 맡고 게이트웨이가 모델 이름을 다시 씁니다 — 클라이언트 코드는 바뀌지 않습니다.
- 계획 모드 탐지: 계획은 최상위, 실행은 오픈 SOTA — 클라이언트 변경 제로
- 아이덴티티 범위 모델 매핑: 같은 모델 이름 → 키 그룹별로 다른 업스트림
- switch-route 규칙: 이미지가 포함된 요청이나 특수 요청을 적합한 모델로 리디렉션
- 에이전트 내 다운그레이드: 계획 모드 고정 / 비계획 자동 다운그레이드
멀티 모델 코드 리뷰
같은 PR에 2~3개 모델을 병렬로 실행합니다. 게이트웨이는 프로토콜 상호 운용과 단일 키 과금을 제공하고, 팬아웃·병합·신뢰도 점수는 오픈소스 오케스트레이션 액션에서 처리합니다.
- 게이트웨이 프로토콜 상호 운용: Anthropic 전용 리뷰 큐에 비-Anthropic 모델 참여
- 단일 액세스 키로 전체 팬아웃 과금 및 거버넌스
- 팬아웃, [Consensus N/M] 점수화, 병합은 gatellm-io/gatellm-code-review(오케스트레이션 측)에서 수행
MCP 도구 거버넌스
외부 MCP 도구 서버를 하나의 /mcp 엔드포인트 뒤로 집계합니다: 도구 수준 ACL, 컨텍스트 예산, 호출 감사까지 제공합니다. 에이전트가 어떤 도구를 쓸 수 있는지는 어떤 모델을 호출할 수 있는지와 같은 권한 플레인에 있습니다.
- 여러 MCP 서버를 하나의 /mcp 엔드포인트 뒤로
- 키 그룹별 도구 허용/거부 + 라벨 필터
- 도구 목록이 길어지면 내장 BM25 검색
- REST 브리지: 단순화된 스펙만으로 모든 REST API를 MCP 도구로 래핑, 코드 작성 불필요
- MCP 호출 / 위반 / 세션 전면 감사
웹 검색 주입
모든 모델에 웹 검색을 동일하게 제공합니다. 게이트웨이가 결과를 검색해 주입하고 클라이언트 프로토콜별로 네이티브 검색 블록을 합성합니다 — 오픈 모델도 검색 그라운딩을 얻습니다.
- 프로토콜별 네이티브 검색 블록(Anthropic / OpenAI / Responses)
- 모델별 3단 토글, 실패 시 우아한 성능 저하
- 가로챈 검색은 사용량 과금에서 제외
비용 통제
예산 관리, 속도 제한, 팀별 비용 귀속, 모드 인식 모델 정책. 토큰 요금에 마진을 붙이지 않으며, 자체 키를 쓰는 BYOK를 지원합니다.
- 프로젝트/기능별 비용 귀속
- 소프트 예산 알림
- BYOK: 제공자에게 표준 요금으로 지불
- 모드 인식 모델 정책(계획/실행, 강제 가능)
거버넌스 및 통합
클라이언트 액세스 제어부터 CI/CD 통합까지, 게이트웨이 기능을 개발 및 협업 워크플로로 확장합니다.
- 클라이언트 액세스 제어(User-Agent 정책)
- 자체 게이트웨이를 통한 GitHub Actions 코드 리뷰
- 배치 구성: 스테이징 → 전체 충돌 집합 미리보기 → 단일 트랜잭션 원자적 커밋
Office / M365 추가 기능
유료 추가 기능Excel, Word, PowerPoint, Outlook 안에서 자체 모델 게이트웨이를 바로 사용합니다 — 자체 호스팅 추가 기능, 데이터가 네트워크를 벗어나지 않으며 피벗 의존성이 없습니다.
- Excel 재무 모델링 / Word 계약 검토 / Outlook 받은편지함
- Entra SSO + Purview 라벨 게이팅
- 33개 도메인 스킬 번들, 유료 추가 기능
변환 스크립트
샌드박스 JavaScript 엔진(QuickJS)이 게이트웨이에서 요청 및 응답 JSON을 다시 작성합니다. 콘솔에서 편집하면 즉시 적용됩니다 — 재배포도, 글루 코드도 필요하지 않습니다.
- 요청 전 / 후 슬롯 + 응답 슬롯: 번역 전 클라이언트 형식 또는 번역 후 업스트림 형식을 확인
- context.useModel()이 base_url, 프로토콜, 자격 증명까지 포함해 전체 경로를 전환
- 내장 라이브러리: json_path / str_* / regex_* / array_* / encoding + hash / UUID + time
- 샌드박스(네트워크·파일시스템 없음)에 fail-open/closed 모드, 콘솔 내 스크립트 테스터 제공
모델 조합: 단일 모델로는 낼 수 없는 품질
조합(Composition)은 게이트웨이의 네이티브 패턴이고, 멀티 모델 코드 리뷰는 게이트웨이가 가능하게 하는 오케스트레이션 측 패턴입니다 — 둘 다 기능 정규화 계층 위에 구축됩니다.
조합: 모델 간 계층 라우팅
계획 모드, 아이덴티티, 요청 형태에 따라 라우팅합니다. 계획은 최상위 모델에, 실행은 오픈 SOTA로 내려갑니다. 게이트웨이가 모델 이름을 다시 쓰고 프로토콜을 번역합니다 — 클라이언트 코드는 바뀌지 않습니다.
- ✓계획 모드 탐지: 계획은 최상위로, 실행은 오픈 SOTA로 — 클라이언트 변경 제로
- ✓아이덴티티 범위 모델 매핑: 같은 모델 이름 → 키 그룹 / 헤더별로 다른 업스트림
- ✓switch-route 규칙: 이미지가 포함된 요청이나 특수 요청을 적합한 모델로 리디렉션
- ✓글루 코드 불필요 — 프로토콜 번역은 게이트웨이가 처리
- ✓강제 가능한 정책: 관리자가 계획/실행 모드별 모델 계층을 고정해 전면 최상위 사용을 차단
// before-slot transform script (JavaScript) — switch execution model by plan mode.
// Mounted on the entry model in the console; runs before routing.
function transform(body, context) {
if (context.sourceProtocol !== "Anthropic") {
return body;
}
const EXEC_MODEL = "qwen3.8-max"; // a model name configured in the gateway
const PLAN = /plan mode is active/i;
const EXIT = /exited plan mode/i;
// take the last marker-bearing message: later marker wins
const messages = body.messages || [];
for (let i = messages.length - 1; i >= 0; i--) {
const s = JSON.stringify(messages[i].content || "");
const inPlan = PLAN.test(s);
const exited = EXIT.test(s);
if (inPlan || exited) {
// not in plan mode → switch execution to the cost-efficient model
if (exited || !inPlan) context.useModel(EXEC_MODEL);
return body;
}
}
context.useModel(EXEC_MODEL);
return body;
}멀티 모델 코드 리뷰(오케스트레이션 측)
게이트웨이가 패턴을 가능하게 하고 오케스트레이션 계층이 이를 실행합니다. claude-code-action은 Anthropic 프로토콜만 사용하며, 게이트웨이의 프로토콜 상호 운용 덕분에 qwen3.8-max, kimi-k3 같은 비-Anthropic 모델도 리뷰 큐에 참여할 수 있습니다. 하나의 게이트웨이 액세스 키가 모든 리뷰 모델의 사용량을 일관되게 과금합니다.
- ✓[Consensus N/M] 신뢰도 주석, 병합, 중복 제거는 액션이 생성
- ✓각 리뷰 모델은 개별 과금되고 게이트웨이가 일관되게 집계
- ✓PR 라인 수 게이트와 과거 댓글 축약은 액션에 내장
세 단계로 첫 토큰까지.
단일 모델에서 멀티 모델 오케스트레이션으로 세 단계 만에 전환하세요. 비즈니스 코드를 다시 작성할 필요가 없습니다. 모든 SDK(OpenAI / Anthropic / Gemini / DashScope)가 동작합니다.
게이트웨이 배포
원클릭 Docker 실행 또는 프라이빗 환경으로의 Kubernetes Helm 배포.
키 구성
BYOK 모드: 기존 제공자 API 키를 입력하세요. 데이터는 온프레미스에 유지되며 저장되지 않습니다.
엔드포인트 교체
OpenAI SDK의 base_url을 GateLLM으로 지정하고, 통합 인터페이스로 모든 모델을 호출하세요.
또는 에이전트에게 맡기세요
코딩 에이전트에 이 내용을 붙여넣으세요
GateLLM 게이트웨이를 설치하고 구성하세요. 먼저 이 설치 가이드의 원본 Markdown을 curl로 받아 끝까지 읽고, 그다음 각 단계를 순서대로 따르세요(단계 간 의존성이 있습니다 — 예: 액세스 키보다 키 그룹이 먼저 있어야 합니다. 건너뛰지 마세요):
curl -fsSL https://docs.gatellm.io/en/quickstart/docker-single-node.md에이전트에게 필요한 것은 업스트림 제공자 API 키 하나뿐입니다. 나머지는 에이전트가 생성하고, 브라우저 없이 Console API로 모든 것을 구성하며, 첫 요청이 완료 응답을 반환하면 끝납니다.
또는 직접 실행하세요
docker run -d \
--name gatellm \
-p 7890:7890 \
-e CONSOLE_PASSWORD=change-me-on-first-login \
-e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
-e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
-e STORAGE_MODE=sqlite \
-v gatellm-data:/var/lib/protoflux \
ghcr.io/gatellm-io/gatellm:latest실행 전에 세 개의 자리 표시자 값을 교체하세요 — 각 값이 무엇인지, 그대로 두면 왜 안전하지 않은지는 가이드에서 설명합니다.
# Just one line change: point base_url to GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# Existing code unchanged, call any model
response = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Hello"}]
)GitHub의 실행 가능한 예제 — Docker Compose와 base_url만 바꾸면 되는 Python / TypeScript SDK 스니펫
이미 쓰고 있는 SDK를 그대로 가져오세요. 한 줄만 바꾸면 됩니다.
양쪽 모두 동일한 네 가지 프로토콜을 지원합니다. 채팅, 이미지, 음성, 비디오, 실시간 음성, 임베딩, 리랭크 전반에서 글루 코드 없이 임의 방향으로 변환합니다.
이미 쓰고 있는 SDK와 그대로 동작합니다
어떤 SDK나 프레임워크든 한 줄로 게이트웨이를 가리키게 하세요. OpenAI, Anthropic, Gemini, DashScope는 네이티브로 연결되고, LangChain, LlamaIndex, CrewAI, Vercel AI SDK 등 30개 이상은 동일한 base_url 교체로 연결됩니다.
base_url을 게이트웨이로 지정
기본값은 https://your-gateway.gatellm.io 입니다 — /v1 포함 여부는 SDK마다 다릅니다(각 예시에 정확한 값을 표기).
게이트웨이 액세스 키로 교체
업스트림 sk-… 키가 아닙니다 — 같은 액세스 키가 SDK가 기대하는 헤더에 맞춰 들어갑니다.
게이트웨이 모델 이름 사용
콘솔에서 구성한 이름을 쓰세요 — 벤더의 공식 이름이 아닙니다.
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>공식 벤더 SDK
OpenAI / Anthropic / Google SDK가 네이티브로 연결됩니다 — base_url만 변경
통합 SDK 및 게이트웨이
Vercel AI SDK, LiteLLM, Portkey, Semantic Kernel, Spring AI
오케스트레이션 프레임워크
LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, Haystack
에이전트 SDK
OpenAI Agents, Claude Agent, Pydantic AI, ADK, Mastra
실시간 및 오디오
Realtime WebSocket 음성 + openai_audio ASR / TTS
로컬 / 자체 호스팅
Ollama, vLLM, llama.cpp를 업스트림으로 — 기존 클라이언트 SDK 유지
모든 AI 코딩 에이전트를 게이트웨이로 연결하세요
모든 코딩 에이전트 설정 보기 → ↗Chat Completions가 아니라 Responses API를 호출합니다. 업스트림이 openai(Chat)라면 OpenAIChatCompletionsModel로 명시적으로 전환하고, openai_response라면 문자열 모델 이름이 그대로 동작합니다.
OpenAI 클래스는 인식하는 계열만 허용하고 사용자 정의 게이트웨이 이름을 거부합니다 — OpenAILike(Python)를 사용하거나 모델 정보를 명시적으로 선언하세요.
base_url은 프레임워크 파라미터가 아니라 OPENAI_API_BASE 환경 변수이며, 모델에는 openai/ 접두사가 필요합니다.
OpenAI SDK는 /v1을 사용하고, Anthropic SDK는 루트를 사용하며(내부에서 /v1/messages를 붙임), Vercel AI SDK의 createAnthropic은 /v1을 사용합니다(내부에서 /messages를 붙임). 잘못 지정하면 경로 세그먼트가 하나 더 붙거나 빠집니다.
# base_url convention differs by SDK — match the one you're using
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK: /v1
import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK: root (appends /v1/messages)
# Vercel AI SDK createAnthropic: baseURL ".../v1" (appends /messages) — the reverse
# LangChain ChatOpenAI: base_url="https://your-gateway.gatellm.io/v1"기능 정규화: 벤더 간 혼합을 가능하게 하는 토대
벤더 간 모델 혼합은 기능 정규화 계층 위에 서 있습니다. 이 계층이 일곱 가지 결합 지점을 통합하므로, 모델을 바꾸는 일이 글루 코드를 다시 쓰는 일이 되지 않습니다.
도구 호출 정규화
OpenAI / Anthropic / Gemini / 중국 모델은 도구 호출 스키마가 모두 다릅니다. 이를 기반 계층에서 통합해, 코드를 한 번 작성하면 모든 모델을 호출할 수 있습니다.
구조화 출력 호환성
제공자마다 프로토콜이 다릅니다(strict JSON schema, json_mode, tool_use). 이를 일관된 인터페이스로 통합합니다.
프롬프트 캐싱 통합
Anthropic cache_control, OpenAI 자동 캐싱, Gemini 컨텍스트는 메커니즘이 각각 다릅니다. 통합된 캐싱 전략을 제공합니다.
추론 토큰 적응
o1 / Claude thinking / DeepSeek R1의 출력 형식은 다릅니다. 각 제공자의 추론 토큰 프로토콜에 맞춰 적응합니다.
멀티모달 형식 지원
vision / audio / 파일 업로드 프로토콜은 제공자마다 다릅니다. 멀티모달 입력 형식을 통합합니다.
과금 모델 추상화
제공자별 요금 구조가 다릅니다. 이를 통합된 비용 추적 인터페이스로 추상화합니다.
오류 의미 정규화
벤더마다 오류 코드와 본문이 다릅니다. 이를 균일한 오류 본문으로 정규화하고, z-request-id로 모든 요청을 종단 간 연계합니다.
데이터 흐름: 온프레미스 유지, 저장되지 않음
BYOK 모드에서 API 키는 게이트웨이 메모리에만 저장되며, 영속화되거나 전송되지 않습니다. 요청은 게이트웨이를 거쳐 제공자의 공식 API로 직접 라우팅되며, 데이터는 프라이빗 네트워크를 벗어나지 않습니다.
왜 비용이 약 1/7일까요?
하루 10억 토큰을 처리하는 엔터프라이즈를 가정합니다. 같은 워크로드에 대해 "전 구간 최상위"와 "최상위가 계획, 오픈 모델이 실행"의 청구서를 비교해 보세요.
Claude Opus 5가 계획 + 실행, 전부 최상위
실행의 약 90%는 오픈 SOTA, 핵심 10% 계획은 최상위
절감의 세 가지 원천:
- 1.BYOK, 토큰 마진 없음 — 제공자에게 표준 요금을 지불하며 GateLLM은 중간 수수료를 받지 않습니다(집계 서비스는 보통 정가 위에 플랫폼 및 결제 수수료를 더합니다);
- 2.조합(Composition) — 오픈 SOTA 모델(GLM / Qwen / DeepSeek)이 분류, 추출, 번역 등 실행의 대부분을 맡고, 최상위 클로즈드 모델(Claude Opus 등)은 계획과 어려운 추론에만 사용됩니다;
- 3.프롬프트 캐싱 — 빈도가 높은 호출이 캐시에 적중하면 단가가 50%–90% 낮아집니다.
수치는 공개 가격을 바탕으로 한 예시 모델이며, 실제 절감액은 비즈니스 시나리오와 혼합 비율에 따라 달라집니다. Pro 라이선스 요금 $400/월(2GB 단일 인스턴스)은 GateLLM 플랜에 포함됩니다.
보이는 사용량, 정산되는 비용, 지켜지는 예산
Token Ops는 누가 무엇을 쓰는지 추적하고, Token FinOps는 토큰을 청구 가능한 비용으로 바꿉니다. 하나의 컨트롤 플레인이 AI 지출을 클라우드 지출처럼 운영 가능하게 만듭니다.
사용량 및 비용 관측성
모든 호출을 모델, 액세스 키, 키 그룹별로 분해하고 입력 / 출력 / 캐시 적중 토큰을 1분 단위로 별도 계량합니다.
- 모델 / 키 / 키 그룹별 그룹화
- 입력, 출력, 캐시 적중 별도 계량
- 24시간 / 7일 / 30일 / 사용자 지정 시계열
클라이언트 승인 및 감사 추적
승인한 클라이언트만 게이트웨이에 도달합니다 — User-Agent 기준으로 허용, 제한, 거부할 수 있습니다. 모든 호출은 엔드포인트 거버넌스와 규정 준수 증거를 위한 감사 기록을 남깁니다.
- 클라이언트 액세스 제어(User-Agent 정책)
- 로그 보존이 포함된 호출 기록(Pro 이상)
- 감사 / DLP 통합(Enterprise)
관리 API(프로그래밍 방식 제어)
EnterpriseAPI로 게이트웨이를 관리합니다: API 키 생성 / 폐기, 할당량 및 예산 설정, 사용량과 비용 조회, 감사 로그 내보내기 — 사내 운영 및 빌링 시스템에 연결하세요.
- 프로그래밍 방식 API 키 생성 / 폐기
- API를 통한 할당량 및 예산 설정
- 사용량 및 비용 조회 API
- 감사 로그 내보내기
자체 요율표 및 가격 스냅샷
협상한 프라이빗 가격을 직접 입력하면 그것이 권위 있는 값이 됩니다 — 시스템 새로고침이 이를 덮어쓰지 않습니다. 각 가격에는 적용 기간이 있습니다. 인하를 미리 예약할 수 있고, 편집해도 과거 비용이 다시 작성되지 않습니다.
- 고정된 프라이빗 가격이 자동 가격을 덮으며 절대 덮어쓰이지 않음
- 스냅샷은 시간 창에 따라 적용
- 과거 백필 / 인하 예약
- 토큰 · 호출당 · 초당 과금 모드
태그 기반 할당 및 차지백
키와 키 그룹에 태그를 붙이고 태그별로 사용량과 비용을 집계해 토큰 지출을 올바른 코스트 센터에 배분합니다. Excel 내보내기는 원장을 모델 × 키로 분할해 내부 쇼백이나 차지백에 쓸 수 있습니다.
- 키 / 키 그룹에 자유 형식 태그
- 태그별 사용량 및 비용 집계
- 6개 시트가 포함된 Excel 내보내기(키 × 모델 포함)
- 내부 쇼백 / 차지백에 바로 사용 가능
비용 할당량 및 한도
키별로 일일 및 월간 지출 상한을 설정합니다 — UTC 달력일과 월 기준으로 독립 판정되며, 둘 중 하나라도 초과하는 순간 차단됩니다. 할당량은 키 → 그룹 → 전역으로 상속되고, 그룹 간에는 가장 넓은 값이 적용됩니다.
- 일일 / 월간 상한, 독립 판정
- 키 → 그룹 → 전역 상속
- 429 quota_exceeded, 일일 한도에는 Retry-After
GateLLM vs LiteLLM
출처를 검증한 비교입니다. LiteLLM에 없는 여러 메커니즘을 GateLLM만 제공하며, 양쪽 모두 갖춘 안정적인 기준선이 있고, 몇 가지는 성격 자체가 다릅니다. 마케팅 소음이 아니라 상위 두 계층을 기준으로 판단하세요.
GateLLM만 제공
LiteLLM에 없는 메커니즘입니다 — 각 기능 아래에 "어떻게 동작하는지"를 한 줄로 적었습니다.
| 기능 | GateLLM | LiteLLM |
|---|---|---|
| 조건부 모델 전환선언적 switch-route 규칙 + 내장 계획 모드 탐지 + context.useModel() 스크립트 — 클라이언트 변경 제로. LiteLLM은 사용자 정의 Python 콜백이 필요합니다. | 지원 | 미지원 |
| 프로토콜 / SDK 교차 혼합네이티브 임의 방향 진입점 — Anthropic SDK에서 GPT를, Gemini SDK에서 DeepSeek를 호출합니다. LiteLLM은 OpenAI 중심이라 역방향은 심(shim)을 거칩니다. | 지원 | 미지원 |
| 단일 트랜잭션 구성 커밋스테이징 → 전체 충돌 집합 미리보기 → 원자적 커밋. 충돌이 하나라도 있으면 배치 전체가 롤백됩니다. | 지원 | 미지원 |
| 비용 할당량 하드 게이트일일 / 월간 주기로 지출이 기준을 넘는 순간 429 quota_exceeded를 반환합니다. LiteLLM은 예산 알림만 보냅니다. | 지원 | 미지원 |
| 크래시 안전 과금선차감 → 정산 → 환급과 진행 중 원장으로 프로세스가 중단되어도 정확합니다. | 지원 | 미지원 |
| 업스트림 키 풀링 및 고정 바인딩가중 FNV-1a 해시로 각 호출자를 한 키에 고정하고, 실패하면 아직 시도하지 않은 다음 키로 페일오버합니다. weight=0은 대기 키입니다. | 지원 | 미지원 |
| 세 가지 과금 모드 + 다중 통화토큰 / 호출당 / 기간당, USD/CNY/EUR/JPY/GBP, 사용자 정의 차원. LiteLLM은 토큰 기반 추적만 제공합니다. | 지원 | 미지원 |
| 업스트림 SSO 자격 증명 로그인정적 키가 없는 벤더(예: Kiro)를 온보딩합니다. LiteLLM은 정적 API 키만 받습니다. | 지원 | 미지원 |
| 기능 메타데이터 레지스트리자동 주입과 성능 저하를 구동합니다. 신모델의 기능 변동에 코드 변경이 필요 없습니다. | 지원 | 미지원 |
| LTS 릴리스 브랜치N-1 + LTS 브랜치(/lifecycle 참조). LiteLLM은 최근 4개 마이너 라인만 지원합니다. | 지원 | 미지원 |
양쪽 모두 잘하는 것
안정적인 기준선입니다 — 어느 게이트웨이든 이 계층은 커버합니다. 결정은 위아래 계층에서 갈립니다.
| 기능 | GateLLM | LiteLLM |
|---|---|---|
| API 라우팅 · 폴백 · 로드 밸런싱 | 지원 | 지원 |
| BYOK, 토큰 마진 없음 | 지원 | 지원 |
| 완전 자체 호스팅, 데이터 온프레미스 유지 | 지원 | 지원 |
| 벤더 간 도구 호출 정규화 | 지원 | 지원 |
| 구조화 출력(JSON Schema) 정규화 | 지원 | 지원 |
| 추론 / 사고 토큰 적응 | 지원 | 지원 |
| 모델 간 프롬프트 캐싱 | 지원 | 지원 |
| 웹 검색 주입 | 지원 | 지원 |
| MCP 게이트웨이(도구 집계) | 지원 | 지원 |
| 구성을 위한 시각적 콘솔 | 지원 | 지원 |
| 감사 로그 및 사용량 / 비용 계량 | 지원 | 지원 |
2026-09-04 기준 각 제품의 공식 문서(docs.litellm.ai / docs.gatellm.io)로 검증했습니다. 일부 LiteLLM 기능은 Enterprise 라이선스가 필요하며, 세부 사항은 달라질 수 있으니 도입 전에 출처를 확인하세요.
시크릿과 PII는 들어오는 길목에서 탐지됩니다 — 다음에 무엇을 할지는 직접 정합니다.
결정적 규칙 엔진이 모든 모델 요청에서 자격 증명 형식과 PII를 검사하고, 시크릿 자체는 기록하지 않으면서 발견 사실만 기록합니다. 내장 규칙은 꺼진 상태이자 관찰 모드로 출하됩니다. 직접 무장시킨 뒤 범위별로 로그, 마스킹, 차단을 선택하세요. 탐지 경로에 모델은 없습니다.
결정적 탐지, 경로에 모델 없음
구조적으로 결정적입니다: 먼저 리터럴 탐침, 그다음 문맥 단어를 요구하는 정규식 규칙, 마지막으로 체크섬 검증기 — 카드 번호의 Luhn, IBAN의 mod-97, 국가 ID 체크섬, PEM 및 OpenSSH 개인 키 블록, IPv4.
- 자격 증명 형식: 모델 제공자 API 키, 클라우드 액세스 키, GitHub 및 GitLab 토큰, JWT, PEM 및 OpenSSH 개인 키, Slack 토큰
- PII 범주: 중국 본토 휴대전화 번호, 주민등록번호, 은행 카드 번호, IBAN, 이메일 주소, IPv4 주소
- 멀티턴 대화는 새로 추가된 부분만 검사합니다 — 커서 해시 체인이 긴 세션이 이미 정리된 텍스트를 다시 검사하지 않게 합니다
클라이언트가 복원해 볼 수 있는 마스킹, 아무것도 흘리지 않는 차단
마스킹 모드에서는 업스트림 모델이 번호가 매겨진 자리 표시자를 받고, 클라이언트는 실제 값을 복원해 받습니다 — 스트리밍 중에도 SSE 프레임별로 복원됩니다. 차단 모드에서는 거부 응답에 규칙 범주와 요청 ID만 담기고, 일치한 텍스트는 절대 담기지 않습니다.
- 업스트림은 자리 표시자를 보고, 데이터 소유자인 클라이언트는 자신의 값을 그대로 돌려받습니다
- 긴 붙여넣기도 예외가 아닙니다 — 초과 크기 문자열은 디스크로 흘려보내고 고정 크기 창으로 다시 스캔하므로, 페이로드 크기와 무관하게 메모리가 일정합니다
- 허용 목록은 경로가 아니라 값으로 일치합니다: 테스트 키 하나를 승인해도 필드 전체가 조용히 면제되지 않습니다
로그 본문: 수신 그대로 저장, 모든 출구에서 마스킹
출하 이미지에서는 요청 로그 영속화가 꺼져 있습니다. 켜면 본문은 수신한 그대로 저장된 뒤 모든 이그레스 표면에서 마스킹됩니다 — Console API는 기본적으로 마스킹하고, SSE와 터미널 출력은 항상 마스킹되며, 마스킹 실패 시 흘려보내는 대신 응답을 닫습니다.
- 원본 내용 열람은 명시적 행위입니다: 관리자 역할과 명시적 열람 플래그가 모두 필요하며, 감사되고 집계됩니다
- 마스킹은 민감한 본문 키, 민감한 쿼리 및 URL 파라미터, 정적 및 사용자 정의 인증 스킴 헤더, 부분 노출이 있는 베어러 토큰 값을 포함합니다
- 발견 항목은 제한된 주변 문맥과 함께 마스킹된 스니펫을 보관하며 일치한 텍스트는 보관하지 않습니다. 발견 항목은 로그 보존 기간을 따르며 기본값은 7일입니다
의도적으로 기본 꺼짐
내장 규칙 팩은 비활성 상태로 출하되고, 모든 내장 규칙의 동작은 로그입니다. 이는 공백이 아니라 안전한 롤아웃입니다: 실제 트래픽에서 어떤 일이 일어났을지 먼저 확인하고, 자체 오탐에 맞춰 허용 목록을 조정한 뒤, 중요한 곳에서 마스킹이나 차단을 무장시키세요. 정책은 전역, 액세스 키 그룹별, 액세스 키별로 범위를 정할 수 있고, 규칙은 핫 리로드됩니다.
- 1
log관찰합니다. 발견 항목이 마스킹된 스니펫과 함께 콘솔에 표시되며, 요청 자체는 그대로입니다.
- 2
mask복원 가능하게 강제합니다. 업스트림은 자리 표시자를 보고, 클라이언트는 여전히 실제 값을 받습니다.
- 3
block거부합니다. 요청은 규칙 범주와 요청 ID와 함께 거부되며, 일치한 텍스트는 절대 포함되지 않습니다.
무엇이고, 무엇이 아닌지
무엇인지
- 자체 게이트웨이 프로세스 안, 모델 요청 경로에서 실행되며 전역 / 액세스 키 그룹별 / 액세스 키별로 범위를 정합니다
- 전용 콘솔 페이지: 관리자 및 모니터 역할용 발견 항목 보기, 관리자용 규칙 보기, 메모리 예산 사전 검사가 있는 켜기/끄기 스위치, 핫 리로드, 감사 항목
- 드라이런 미리보기 엔드포인트가 있어 규칙을 무장하기 전에 샘플로 시험할 수 있습니다
- 모든 발견 항목은 규칙 이름, 범주, 심각도, 취한 조치, 일치 수, 모델, 액세스 키 이름으로 추적됩니다
무엇이 아닌지
- 응답 콘텐츠 탐지 없음 — 응답 구간은 자리 표시자를 복원할 뿐입니다
- ML 없음, 탈옥 또는 프롬프트 주입 탐지 없음, 모더레이션 API 없음: 규칙은 결정적입니다
- 오프라인 재감사 없음 — 요청 시점에 스캔되지 않은 콘텐츠는 나중에도 스캔되지 않습니다
- DLP 제품군이 아님: 엔드포인트, 이메일 또는 기타 이그레스 채널을 커버하지 않습니다
- 여권, SSN, 이름, 주소 탐지기는 없으며 알려진 잔여 공백이 문서화되어 있습니다 — base64로 인코딩된 미디어 이탈은 건너뛰고, 두 스트림 프레임에 걸쳐 분할된 자리 표시자는 그대로 통과합니다
실제로 얻는 것.
구매 담당자가 신경 쓰는 세 가지를 가격보다 먼저 정리합니다: 법무가 서명할 수 있는 DPA, 통제 불가능하게 커지지 않는 청구서, 우리에게 절대 도달하지 않는 프롬프트.
법무팀이 서명할 수 있는 DPA
GDPR 및 CCPA 대응, 법무팀이 실제로 서명할 수 있는 DPA를 제공합니다. 자체 호스팅으로 데이터가 경계를 벗어나지 않으며, Enterprise SSO(OIDC / SAML 2.0)와 SCIM 2.0 프로비저닝이 포함됩니다.
통제 불가능하게 커지지 않는 청구서
BYOK: 제공자에게 표준 요금을 지불하며 토큰 마진도, 좌석당 요금도 없습니다. 키와 프로젝트별 하드 할당량 상한이 폭주하는 스크립트가 예산을 넘어서지 못하게 막습니다.
프롬프트는 우리에게 도달하지 않습니다
완전 자체 호스팅 — 프롬프트와 완료 응답은 우리 시스템에 전혀 들어오지 않습니다. BYOK 키는 게이트웨이 메모리에만 있으며, 요청은 제공자 API로 곧장 가고 네트워크를 벗어나지 않습니다.
완전 자체 호스팅 · 단일 인스턴스 2GB · 토큰 요금에 절대 마진 없음
BYOK(자체 키 사용) — 제공자에게 표준 요금을 지불합니다. 저희는 2GB 인스턴스 하나를 라이선스하며, 좌석이나 토큰 마진으로 과금하지 않습니다. 더 큰 메모리나 다중 인스턴스는 Enterprise로 진행합니다.
모든 플랜에 포함: 토큰 마진 없는 BYOK · 100개 이상 제공자 라우팅 · 클라이언트 액세스 제어 · 프롬프트 캐싱 · 비용 할당량
Free
완전 자체 호스팅 · 단일 라이선스
512MB 단일 인스턴스, 로그 보존 없음 — 평가와 PoC에는 적합하지만 프로덕션 트래픽에는 맞지 않습니다.
- ✓100개 이상 LLM 라우팅 · 폴백 · 로드 밸런싱
- ✓벤더 간 모델 혼합 · 에이전트 내 다운그레이드(계획 모드 고정 / 비계획 자동 다운그레이드)
- ✓클라이언트 액세스 제어(User-Agent 정책)
- ✓프롬프트 캐싱
- ✓BYOK(자체 키 사용, 마진 없음)
- ✓512MB 메모리 상한 · SQLite · 단일 인스턴스
- ✓자체 게이트웨이를 통한 GitHub Actions 코드 리뷰
- ✓로그 보존 없음
Pro
/ 월 · 2GB 단일 인스턴스(고정 상한) · 21일 무료 체험
2GB 고정 상한, 추가 기능 없음. 다중 노드, 규정 준수(Audit/DLP), 관리 API가 필요하면 Enterprise로 진행하세요.
- ✓모든 Free 기능
- ✓2GB 메모리 · 단일 인스턴스(고정 상한, 추가 구매 불가)
- ✓로그 보존
- ✓Enterprise SSO(OIDC: Azure AD / Okta / 범용, 추가로 SAML 2.0 + SCIM)
- ✓PostgreSQL · 2GB 메모리
- ✓이메일 / 티켓 지원
만족하지 못하면 30일 이내 100% 환불
Enterprise
메모리 용량 기준 · 연간 청구 · 30일 환불
- ✓모든 Pro 기능
- ✓용량 기반 과금(노드 × 메모리, $400/GB/월 정액)
- ✓다중 노드 / 클러스터 배포
- ✓자체 게이트웨이를 통한 GitHub Actions 코드 리뷰
- ✓Microsoft 365 추가 기능(Excel/Word/PPT/Outlook, 유료 추가 기능)
- ✓확장된 로그 보존
- ✓우선 지원 응답
- ✓규정 준수(Audit / DLP)
- ✓관리 API(프로그래밍 방식 API 키 · 할당량 · 사용량 조회 · 감사 내보내기)
더 많은 용량이나 맞춤 구성이 필요하신가요? 문의하기 →
기능 비교
| 기능 | Free | Pro | Enterprise |
|---|---|---|---|
| 멀티 모델 라우팅 · 폴백 · 로드 밸런싱 | ✓ | ✓ | ✓ |
| 벤더 간 모델 혼합(벤더별 계획/실행) | ✓ | ✓ | ✓ |
| 에이전트 내 모델 다운그레이드(계획 모드 고정 / 비계획 자동 다운그레이드) | ✓ | ✓ | ✓ |
| 프롬프트 캐싱 | ✓ | ✓ | ✓ |
| BYOK(자체 키 사용, 마진 없음) | ✓ | ✓ | ✓ |
| 메모리 등급 | 512MB | 2GB(고정) | 맞춤 |
| 스토리지 / 데이터베이스 | SQLite(단일 인스턴스) | PostgreSQL · 2GB | PostgreSQL + Redis 클러스터 |
| 배포 규모 | 1 인스턴스 | 1 인스턴스 · 2GB | 다중 노드 / 클러스터 |
| GB당 처리량(참고) | — | 2GB ≈ 200M TPM / 1,000 RPM | GB당 ≈ 100M TPM / 500 RPM |
| 로그 보존 | 없음 | 보존 | 확장 보존 |
| SSO(OIDC / SAML 2.0) | — | ✓ | ✓ |
| SCIM 2.0 자동 프로비저닝 | — | ✓ | ✓ |
| 규정 준수(Audit / DLP) | — | — | ✓ |
| 관리 API(프로그래밍 방식 키 · 할당량 · 사용량 · 감사) | — | — | ✓ |
| 자체 요율표 / 가격 스냅샷(프라이빗 가격 포함) | ✓ | ✓ | ✓ |
| 비용 할당량(일일 / 월간, 3단계 상속) | ✓ | ✓ | ✓ |
| 지원 응답 | 커뮤니티 | 이메일 / 티켓 | 우선 응답 |
| 모드 인식 모델 정책(계획/실행, 강제 가능) | ✓ | ✓ | ✓ |
| 클라이언트 액세스 제어(User-Agent 정책) | ✓ | ✓ | ✓ |
| GitHub Actions 코드 리뷰(자체 게이트웨이 경유) | ✓ | ✓ | ✓ |
| Microsoft 365 추가 기능(Excel/Word/PPT/Outlook, 자체 호스팅) | — | 추가 기능 | 추가 기능 |
| Purview 민감도 라벨 게이팅(addin.access / file.upload) | — | — | ✓ |