# GateLLM — 자체 호스팅 엔터프라이즈 LLM 게이트웨이

> 비용은 1/7, 워크로드는 그대로. 최상위 클로즈드 모델과 오픈 SOTA 모델을 함께 오케스트레이션하는 신뢰할 수 있고 규정을 준수하는 자체 호스팅 LLM 게이트웨이(AI 게이트웨이)입니다 — 계획은 최전선 모델이, 실행은 오픈 SOTA가 맡습니다.

표준 링크: https://www.gatellm.io/ko/

## 최상위 모델이 계획하고, 오픈 SOTA가 실행합니다. 비용은 1/7입니다.
최상위 모델은 계획을 담당하고, 오픈 SOTA 모델이 일상적인 90%를 처리합니다. 이 조합이 청구서를 약 1/7로 낮춥니다 — 숫자는 여기서 주장하는 것이 아니라 계산기에서 실시간으로 산출됩니다.
```
from openai import OpenAI

# One line change: point your SDK at your own gateway
client = OpenAI(
    base_url="https://your-gateway.gatellm.io/v1",
    api_key="your-gateway-api-key",
)

# Existing code unchanged — the gateway routes each request
# to the right model tier (planning vs execution) per your console policy
resp = client.chat.completions.create(
    model="claude-opus-5",  # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
    messages=[{"role": "user", "content": "Plan the architecture"}],
)
```
모델 혼합: Claude Opus가 계획하고 DeepSeek / Qwen이 실행 — 비용은 약 1/7, 최대 90% 절감

어떤 모델이 실제로 실행될지는 게이트웨이가 결정: 클라이언트 설정과 무관하게, 착지 모델은 관리자가 고정한 모델 — 인그레스 허용 목록 + 와일드카드 "*" 매핑

프로토콜 하나면 충분: OpenAI 또는 Anthropic으로 말하면 네 가지 채팅 프로토콜 계열(OpenAI / Anthropic / Gemini / DashScope) 뒤의 모델에 도달 — 모델을 바꿔도 코드는 그대로

데이터는 온프레미스에 유지: 완전 자체 호스팅, 프롬프트가 우리에게 오지 않음; 자격 증명과 PII를 요청 경로에서 탐지 — 범위별 로그 / 마스킹 / 차단

## 단일 모델로는 못 하는, 게이트웨이가 하는 세 가지
모델을 혼합해 비용을 줄이고, 실제로 실행되는 모델을 강제하고, 클라이언트 코드를 하나의 프로토콜로 유지합니다.
### 가장 비싼 모델을 어디서나 돌리는 대신 모델을 혼합
프런티어 모델(Claude Opus)이 계획과 추론을 맡고, 오픈 SOTA 모델(DeepSeek / Qwen / GLM)이 일상 실행을 맡습니다. 기본 혼합에서 청구서는 약 1/7이며, 일상 실행 작업에서 능력의 약 97%를 유지합니다 — 계산기에서 실시간으로 산출되는 값이며 여기서 단정하지 않습니다.
- 요청별로 플랜 모드 감지 — 클라이언트 변경 없음
- 키 그룹 또는 ID로 계층 지정
- 모드별 비용 배분과 예산 상한
### 실제로 실행되는 모델은 게이트웨이가 결정
개발자가 어떤 모델을 설정하든, 요청은 도착 시 정규화됩니다. 허용 목록에 없는 이름은 403이고, 와일드카드 "*" 매핑이 나머지 전부를 승인된 모델로 다시 씁니다. 매핑과 규칙은 핫 리로드 — 개발자별 롤아웃이 필요 없습니다.
- 키 그룹 허용 목록이 인그레스에서 모델 이름을 차단
- 와일드카드 매핑이 착지 모델을 고정
- 모든 요청이 실제 착지 모델을 기록(스크립트 전환은 SW 태그, ID 매핑은 MM)
### 클라이언트는 한 번 작성하고 백엔드는 자유롭게 교체
앱은 하나의 프로토콜(OpenAI 또는 Anthropic)로 말합니다. 게이트웨이가 네 가지 채팅 프로토콜 계열(OpenAI / Anthropic / Gemini / DashScope) 사이를 변환하고 스트리밍, 도구 호출 등 능력 차이를 정규화하므로, 벤더나 모델을 추가해도 비즈니스 코드는 건드리지 않습니다.
- 네 가지 채팅 프로토콜 계열 간 any-to-any
- Anthropic 전용 클라이언트(Claude Code, claude-code-action)가 다른 벤더 모델 실행 가능
- 네 계열 외 15가지 업스트림 프로토콜 형태를 상호운용 매트릭스에 문서화

100개 이상의 LLM 제공자 · 30개 이상의 SDK 및 프레임워크와 통합

## 직접 확인하세요
말만 믿으라고 하기보다 문서를 공개합니다. 이 페이지의 모든 주장에는 상담 전에 읽어보실 수 있는 근거 자료가 있습니다.

### [보안 및 규정 준수](https://www.gatellm.io/ko/security.md)
아키텍처, 키 처리, 격리 모델.

### [보안 설문지](https://www.gatellm.io/trust.md)
CAIQ / SIG / VSA 답변을 작성해 두었습니다.

### [하위 처리자 목록](https://www.gatellm.io/subprocessors.md)
귀하의 데이터에 접근할 수 있는 모든 제3자.

### [사고 대응 및 지원](https://www.gatellm.io/sla.md)
대응 목표와 지원 약정.

## 하나의 인터페이스로 모든 모델을 조합합니다
단순한 모델 라우팅부터 멀티 모델 오케스트레이션까지, GateLLM은 엔터프라이즈급 기능을 폭넓게 제공합니다.
### 멀티 모델 라우팅
하나의 인터페이스로 모든 모델을 호출합니다. 지능형 폴백, 로드 밸런싱, 자동 재시도를 제공합니다.
- 100개 이상의 LLM 제공자를 하나의 API로
- 지능형 폴백 라우팅
- 로드 밸런싱 및 속도 제한
- 업스트림 키 풀링: 한 호출자는 한 키에 고정되고, 실패 시 다음 키로 페일오버
- Ollama / vLLM / llama.cpp를 openai 호환 업스트림으로 사용, 하나의 거버넌스 플레인
### 조합(Composition)
계획 모드, 아이덴티티, 요청 형태에 따라 계층 라우팅을 수행합니다. 계획은 최상위 모델이, 실행은 오픈 SOTA가 맡고 게이트웨이가 모델 이름을 다시 씁니다 — 클라이언트 코드는 바뀌지 않습니다.
- 계획 모드 탐지: 계획은 최상위, 실행은 오픈 SOTA — 클라이언트 변경 제로
- 아이덴티티 범위 모델 매핑: 같은 모델 이름 → 키 그룹별로 다른 업스트림
- switch-route 규칙: 이미지가 포함된 요청이나 특수 요청을 적합한 모델로 리디렉션
- 에이전트 내 다운그레이드: 계획 모드 고정 / 비계획 자동 다운그레이드
### 멀티 모델 코드 리뷰
같은 PR에 2~3개 모델을 병렬로 실행합니다. 게이트웨이는 프로토콜 상호 운용과 단일 키 과금을 제공하고, 팬아웃·병합·신뢰도 점수는 오픈소스 오케스트레이션 액션에서 처리합니다.
- 게이트웨이 프로토콜 상호 운용: Anthropic 전용 리뷰 큐에 비-Anthropic 모델 참여
- 단일 액세스 키로 전체 팬아웃 과금 및 거버넌스
- 팬아웃, [Consensus N/M] 점수화, 병합은 gatellm-io/gatellm-code-review(오케스트레이션 측)에서 수행
### MCP 도구 거버넌스
외부 MCP 도구 서버를 하나의 /mcp 엔드포인트 뒤로 집계합니다: 도구 수준 ACL, 컨텍스트 예산, 호출 감사까지 제공합니다. 에이전트가 어떤 도구를 쓸 수 있는지는 어떤 모델을 호출할 수 있는지와 같은 권한 플레인에 있습니다.
- 여러 MCP 서버를 하나의 /mcp 엔드포인트 뒤로
- 키 그룹별 도구 허용/거부 + 라벨 필터
- 도구 목록이 길어지면 내장 BM25 검색
- REST 브리지: 단순화된 스펙만으로 모든 REST API를 MCP 도구로 래핑, 코드 작성 불필요
- MCP 호출 / 위반 / 세션 전면 감사
### 웹 검색 주입
모든 모델에 웹 검색을 동일하게 제공합니다. 게이트웨이가 결과를 검색해 주입하고 클라이언트 프로토콜별로 네이티브 검색 블록을 합성합니다 — 오픈 모델도 검색 그라운딩을 얻습니다.
- 프로토콜별 네이티브 검색 블록(Anthropic / OpenAI / Responses)
- 모델별 3단 토글, 실패 시 우아한 성능 저하
- 가로챈 검색은 사용량 과금에서 제외
### 비용 통제
예산 관리, 속도 제한, 팀별 비용 귀속, 모드 인식 모델 정책. 토큰 요금에 마진을 붙이지 않으며, 자체 키를 쓰는 BYOK를 지원합니다.
- 프로젝트/기능별 비용 귀속
- 소프트 예산 알림
- BYOK: 제공자에게 표준 요금으로 지불
- 모드 인식 모델 정책(계획/실행, 강제 가능)
### 거버넌스 및 통합
클라이언트 액세스 제어부터 CI/CD 통합까지, 게이트웨이 기능을 개발 및 협업 워크플로로 확장합니다.
- 클라이언트 액세스 제어(User-Agent 정책)
- 자체 게이트웨이를 통한 GitHub Actions 코드 리뷰
- 배치 구성: 스테이징 → 전체 충돌 집합 미리보기 → 단일 트랜잭션 원자적 커밋
### Office / M365 추가 기능
Excel, Word, PowerPoint, Outlook 안에서 자체 모델 게이트웨이를 바로 사용합니다 — 자체 호스팅 추가 기능, 데이터가 네트워크를 벗어나지 않으며 피벗 의존성이 없습니다.
- Excel 재무 모델링 / Word 계약 검토 / Outlook 받은편지함
- Entra SSO + Purview 라벨 게이팅
- 33개 도메인 스킬 번들, 유료 추가 기능
### 변환 스크립트
샌드박스 JavaScript 엔진(QuickJS)이 게이트웨이에서 요청 및 응답 JSON을 다시 작성합니다. 콘솔에서 편집하면 즉시 적용됩니다 — 재배포도, 글루 코드도 필요하지 않습니다.
- 요청 전 / 후 슬롯 + 응답 슬롯: 번역 전 클라이언트 형식 또는 번역 후 업스트림 형식을 확인
- context.useModel()이 base_url, 프로토콜, 자격 증명까지 포함해 전체 경로를 전환
- 내장 라이브러리: json_path / str_* / regex_* / array_* / encoding + hash / UUID + time
- 샌드박스(네트워크·파일시스템 없음)에 fail-open/closed 모드, 콘솔 내 스크립트 테스터 제공

## 모델 조합: 단일 모델로는 낼 수 없는 품질
조합(Composition)은 게이트웨이의 네이티브 패턴이고, 멀티 모델 코드 리뷰는 게이트웨이가 가능하게 하는 오케스트레이션 측 패턴입니다 — 둘 다 기능 정규화 계층 위에 구축됩니다.
### 조합: 모델 간 계층 라우팅
계획 모드, 아이덴티티, 요청 형태에 따라 라우팅합니다. 계획은 최상위 모델에, 실행은 오픈 SOTA로 내려갑니다. 게이트웨이가 모델 이름을 다시 쓰고 프로토콜을 번역합니다 — 클라이언트 코드는 바뀌지 않습니다.
- 계획 모드 탐지: 계획은 최상위로, 실행은 오픈 SOTA로 — 클라이언트 변경 제로
- 아이덴티티 범위 모델 매핑: 같은 모델 이름 → 키 그룹 / 헤더별로 다른 업스트림
- switch-route 규칙: 이미지가 포함된 요청이나 특수 요청을 적합한 모델로 리디렉션
- 글루 코드 불필요 — 프로토콜 번역은 게이트웨이가 처리
- 강제 가능한 정책: 관리자가 계획/실행 모드별 모델 계층을 고정해 전면 최상위 사용을 차단
```
// before-slot transform script (JavaScript) — switch execution model by plan mode.
// Mounted on the entry model in the console; runs before routing.
function transform(body, context) {
    if (context.sourceProtocol !== "Anthropic") {
        return body;
    }
    const EXEC_MODEL = "qwen3.8-max"; // a model name configured in the gateway
    const PLAN = /plan mode is active/i;
    const EXIT = /exited plan mode/i;
    // take the last marker-bearing message: later marker wins
    const messages = body.messages || [];
    for (let i = messages.length - 1; i >= 0; i--) {
        const s = JSON.stringify(messages[i].content || "");
        const inPlan = PLAN.test(s);
        const exited = EXIT.test(s);
        if (inPlan || exited) {
            // not in plan mode → switch execution to the cost-efficient model
            if (exited || !inPlan) context.useModel(EXEC_MODEL);
            return body;
        }
    }
    context.useModel(EXEC_MODEL);
    return body;
}
```
### 멀티 모델 코드 리뷰(오케스트레이션 측)
게이트웨이가 패턴을 가능하게 하고 오케스트레이션 계층이 이를 실행합니다. claude-code-action은 Anthropic 프로토콜만 사용하며, 게이트웨이의 프로토콜 상호 운용 덕분에 qwen3.8-max, kimi-k3 같은 비-Anthropic 모델도 리뷰 큐에 참여할 수 있습니다. 하나의 게이트웨이 액세스 키가 모든 리뷰 모델의 사용량을 일관되게 과금합니다.
- [Consensus N/M] 신뢰도 주석, 병합, 중복 제거는 액션이 생성
- 각 리뷰 모델은 개별 과금되고 게이트웨이가 일관되게 집계
- PR 라인 수 게이트와 과거 댓글 축약은 액션에 내장

## 세 단계로 첫 토큰까지.
단일 모델에서 멀티 모델 오케스트레이션으로 세 단계 만에 전환하세요. 비즈니스 코드를 다시 작성할 필요가 없습니다. 모든 SDK(OpenAI / Anthropic / Gemini / DashScope)가 동작합니다.
### 게이트웨이 배포
원클릭 Docker 실행 또는 프라이빗 환경으로의 Kubernetes Helm 배포.
### 키 구성
BYOK 모드: 기존 제공자 API 키를 입력하세요. 데이터는 온프레미스에 유지되며 저장되지 않습니다.
### 엔드포인트 교체
OpenAI SDK의 base_url을 GateLLM으로 지정하고, 통합 인터페이스로 모든 모델을 호출하세요.
```
# Just one line change: point base_url to GateLLM
from openai import OpenAI

client = OpenAI(
    base_url="https://your-gateway.gatellm.io/v1",
    api_key="your-gatellm-api-key"
)

# Existing code unchanged, call any model
response = client.chat.completions.create(
    model="claude-opus-5",  # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
    messages=[{"role": "user", "content": "Hello"}]
)
```
## 또는 에이전트에게 맡기세요

GateLLM 게이트웨이를 설치하고 구성하세요. 먼저 이 설치 가이드의 원본 Markdown을 curl로 받아 끝까지 읽고, 그다음 각 단계를 순서대로 따르세요(단계 간 의존성이 있습니다 — 예: 액세스 키보다 키 그룹이 먼저 있어야 합니다. 건너뛰지 마세요):

curl -fsSL https://docs.gatellm.io/en/quickstart/docker-single-node.md

에이전트에게 필요한 것은 업스트림 제공자 API 키 하나뿐입니다. 나머지는 에이전트가 생성하고, 브라우저 없이 Console API로 모든 것을 구성하며, 첫 요청이 완료 응답을 반환하면 끝납니다.

## 또는 직접 실행하세요

```bash
docker run -d \
  --name gatellm \
  -p 7890:7890 \
  -e CONSOLE_PASSWORD=change-me-on-first-login \
  -e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
  -e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
  -e STORAGE_MODE=sqlite \
  -v gatellm-data:/var/lib/protoflux \
  ghcr.io/gatellm-io/gatellm:latest
```

실행 전에 세 개의 자리 표시자 값을 교체하세요 — 각 값이 무엇인지, 그대로 두면 왜 안전하지 않은지는 가이드에서 설명합니다.

## 이미 쓰고 있는 SDK를 그대로 가져오세요. 한 줄만 바꾸면 됩니다.
양쪽 모두 동일한 네 가지 프로토콜을 지원합니다. 채팅, 이미지, 음성, 비디오, 실시간 음성, 임베딩, 리랭크 전반에서 글루 코드 없이 임의 방향으로 변환합니다.
### 모든 모달리티
- chat
- image
- speech
- video
- realtime voice
- embedding
- rerank

- 네이티브 인그레스: OpenAI / Anthropic / Gemini / DashScope SDK가 base_url 외에는 변경 없이 바로 연결됩니다
- 네이티브 이그레스: 통합 OpenAI 봉투로 재번역하지 않고, 각 제공자의 네이티브 프로토콜로 라우팅합니다
- 임의 방향 변환: 인그레스 A → 이그레스 B가 매끄럽게 이어집니다(예: Anthropic SDK 호출 → DashScope 네이티브 모델로 라우팅되어 DashScope 프로토콜로 변환)
- 모든 모달리티 + 임베딩/리랭크: chat / image / speech / video / realtime voice에 더해 임베딩과 리랭크 프로토콜까지 통합
- "OpenAI 호환"보다 강력: synthorai 등은 세 가지 인그레스 프로토콜을 하나의 OpenAI 표면으로 통합하지만, GateLLM은 네 가지 인그레스 + 네 가지 이그레스를 임의 방향으로 지원합니다
- 더 넓은 이그레스 프로토콜 표면: 네 가지 주요 프로토콜 계열을 넘어 총 15가지 업스트림 프로토콜 형태(AWS Bedrock Converse / Invoke, Realtime, passthrough 포함) — Bedrock의 엔터프라이즈 모델과 자체 호스팅 모델이 모두 하나의 게이트웨이에 연결됩니다
- 실시간 음성 세션(/v1/realtime, openai_realtime + dashscope_realtime)은 턴 단위로 HTTP와 동일한 통계 / 과금 / 로그 파이프라인에 계량됩니다

## 이미 쓰고 있는 SDK와 그대로 동작합니다
어떤 SDK나 프레임워크든 한 줄로 게이트웨이를 가리키게 하세요. OpenAI, Anthropic, Gemini, DashScope는 네이티브로 연결되고, LangChain, LlamaIndex, CrewAI, Vercel AI SDK 등 30개 이상은 동일한 base_url 교체로 연결됩니다.
### base_url을 게이트웨이로 지정
기본값은 https://your-gateway.gatellm.io 입니다 — /v1 포함 여부는 SDK마다 다릅니다(각 예시에 정확한 값을 표기).
### 게이트웨이 액세스 키로 교체
업스트림 sk-… 키가 아닙니다 — 같은 액세스 키가 SDK가 기대하는 헤더에 맞춰 들어갑니다.
### 게이트웨이 모델 이름 사용
콘솔에서 구성한 이름을 쓰세요 — 벤더의 공식 이름이 아닙니다.
```
# base_url convention differs by SDK — match the one you're using
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1")        # OpenAI SDK: /v1

import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io")  # Anthropic SDK: root (appends /v1/messages)

# Vercel AI SDK createAnthropic: baseURL ".../v1" (appends /messages) — the reverse
# LangChain ChatOpenAI: base_url="https://your-gateway.gatellm.io/v1"
```
### `Authorization: Bearer <key>`
- SDK / 프레임워크: OpenAI · DashScope · 범용
- Bearer 접두사는 대소문자를 구분하지 않습니다

### `x-api-key: <key>`
- SDK / 프레임워크: Anthropic SDK
- Authorization도 허용됩니다

### `x-goog-api-key: <key>`
- SDK / 프레임워크: Gemini SDK
- Authorization도 허용됩니다

### 공식 벤더 SDK
OpenAI / Anthropic / Google SDK가 네이티브로 연결됩니다 — base_url만 변경

### DashScope 네이티브
텍스트, 이미지, 비동기 비디오, 임베딩 및 리랭크를 하나의 엔드포인트로

### 통합 SDK 및 게이트웨이
Vercel AI SDK, LiteLLM, Portkey, Semantic Kernel, Spring AI

### 오케스트레이션 프레임워크
LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, Haystack

### 에이전트 SDK
OpenAI Agents, Claude Agent, Pydantic AI, ADK, Mastra

### 실시간 및 오디오
Realtime WebSocket 음성 + openai_audio ASR / TTS

### 로컬 / 자체 호스팅
Ollama, vLLM, llama.cpp를 업스트림으로 — 기존 클라이언트 SDK 유지

### 모델 이름은 게이트웨이 구성과 일치해야 합니다
벤더의 공식 이름도, 업스트림 모델 ID도 아닙니다 — 콘솔에서 지정한 이름입니다. 이름이 틀리면 404 model_not_found가 발생합니다.

### base_url에 /v1이 포함되는지는 SDK마다 다릅니다
OpenAI SDK는 /v1을 사용하고, Anthropic SDK는 루트를 사용하며(내부에서 /v1/messages를 붙임), Vercel AI SDK의 createAnthropic은 /v1을 사용합니다(내부에서 /messages를 붙임). 잘못 지정하면 경로 세그먼트가 하나 더 붙거나 빠집니다.

### 필드는 프로토콜 간에 번역되며 제약이 달라집니다
업스트림이 Responses 프로토콜 모델이면 max_tokens가 더 낮은 하한(예: ≥16)을 가진 max_output_tokens로 바뀔 수 있습니다 — 너무 작으면 400이 발생합니다.

### 사고(thinking) 블록은 게이트웨이가 감쌉니다
Claude / Gemini의 사고 콘텐츠와 서명은 그대로 전달되거나 제거됩니다 — content 배열에서 type == "text"인 요소를 취하고, content[0]이 텍스트라고 가정하지 마세요.

### OpenAI Agents SDK는 기본적으로 /v1/responses를 사용합니다
Chat Completions가 아니라 Responses API를 호출합니다. 업스트림이 openai(Chat)라면 OpenAIChatCompletionsModel로 명시적으로 전환하고, openai_response라면 문자열 모델 이름이 그대로 동작합니다.

### LlamaIndex는 모델 이름을 허용 목록으로 검증합니다
OpenAI 클래스는 인식하는 계열만 허용하고 사용자 정의 게이트웨이 이름을 거부합니다 — OpenAILike(Python)를 사용하거나 모델 정보를 명시적으로 선언하세요.

### CrewAI는 내부적으로 LiteLLM으로 구동됩니다
base_url은 프레임워크 파라미터가 아니라 OPENAI_API_BASE 환경 변수이며, 모델에는 openai/ 접두사가 필요합니다.

### AutoGen은 명시적인 model_info를 요구합니다
알 수 없는 모델 이름은 기본 목록에서 오류가 납니다 — model_info를 명시적으로 선언해 검사를 우회하세요.

### Google GenAI SDK는 루트를 가리킵니다
base_url은 http_options.base_url로 전달하며(/v1 없음), 키는 x-goog-api-key 헤더에 들어갑니다.

## 모든 AI 코딩 에이전트를 게이트웨이로 연결하세요
```
# Every agent is one base_url + one access key away
export ANTHROPIC_BASE_URL="https://your-gateway.gatellm.io"   # Anthropic agents: root (no /v1)
export ANTHROPIC_API_KEY="<gateway access key>"

export OPENAI_API_BASE="https://your-gateway.gatellm.io/v1"   # OpenAI-compatible agents: /v1
export OPENAI_API_KEY="<gateway access key>"

# Codex CLI (~/.codex/config.toml) speaks the Responses protocol
# [model_providers.gatellm]
# base_url = "https://your-gateway.gatellm.io/v1"
# wire_api = "responses"
```
### 터미널 에이전트
Claude Code, Codex CLI, Gemini CLI, OpenClaw, opencode, Crush, Droid, Goose, Aider, Qwen Code, OpenHands, Kimi Code, Plandex, SWE-agent, Grok Build, Mistral Vibe, MiMo Code, ForgeCode, Codebuff

### IDE 및 확장
Cline, Roo Code, Kilo Code, Continue, Zed, Cursor, Windsurf, GitHub Copilot (BYOK)

### 관리형 플랫폼
Warp(BYOK 키 전용), Amazon Q Developer CLI, Devin — 엔드포인트가 고정되어 있거나 재정의할 수 없음

### 하네스는 자체 모델 ID를 고정해 사용합니다
Claude Code는 구성된 기본값(예: claude-opus-5 또는 claude-sonnet-5)을 보냅니다 — 게이트웨이 이름이 아닙니다. 게이트웨이 모델 이름을 하네스가 요청하는 이름과 정확히 같게 지정하거나, 하네스의 모델 환경 변수(예: ANTHROPIC_MODEL)를 게이트웨이 이름으로 설정하세요. 불일치 시 첫 메시지에서 404 model_not_found가 발생합니다.

### Anthropic 프로토콜 하네스는 /v1이 아닌 루트를 사용합니다
Anthropic 스타일 클라이언트의 base URL은 게이트웨이 루트(/v1 없음)로 지정합니다 — 클라이언트가 스스로 /v1/messages를 붙이기 때문입니다. 여기에 /v1을 붙이면 경로 세그먼트가 두 번 쌓입니다.

### Codex 사용자 정의 제공자에는 wire_api="responses"가 필요합니다
Codex CLI는 사용자 정의 [model_providers.*] 블록에 wire_api = "responses"를 요구합니다. 게이트웨이는 /v1/responses를 네이티브로 구현합니다 — base_url을 여기로 지정하고 env_key를 게이트웨이 액세스 키로 설정하세요.

### LiteLLM 기반 하네스는 openai/ 모델 접두사를 원합니다
Aider, OpenHands, SWE-agent는 LiteLLM 위에 있습니다: OPENAI_API_BASE를 게이트웨이로 설정하고 모델 이름에 openai/ 접두사를 붙이세요(예: openai/gateway-model-name). 그러면 LiteLLM이 게이트웨이를 OpenAI 호환 엔드포인트로 라우팅합니다.

### 기본값은 자체 키가 아니라 구독 OAuth입니다
Codex, Gemini CLI, Qwen Code는 기본적으로 벤더의 OAuth / 구독 로그인을 사용합니다. 게이트웨이를 경유하려면 API 키 인증으로 전환해야 합니다(키와 base URL을 명시적으로 설정) — 그렇지 않으면 에이전트가 게이트웨이를 완전히 우회합니다.

### IDE는 모델 ID로 도구/비전 지원을 추론합니다
Cline / Roo / Kilo 등은 모델 이름으로 도구 호출과 비전 기능을 판단합니다. 사용자 정의 게이트웨이 이름은 함수 호출을 비활성화할 수 있습니다 — 도구 호출이 실패하면 클라이언트의 기능 탐지 규칙을 확인하거나, 알려진 계열과 일치하도록 모델 이름을 지정하세요.

### 긴 추론에는 :keep-alive와 _gateway_warning이 추가됩니다
업스트림 추론이 길어지면 게이트웨이가 SSE :keep-alive 주석 줄을 내보내며(무해합니다 — :로 시작하는 줄은 건너뛰세요), 스트림이 중간에 끊기면 오류를 내는 대신 _gateway_warning 필드를 삽입합니다. 덕분에 Claude Code 같은 하네스가 대화 전체를 중단하지 않습니다.

### Claude Code 자동 모드: 안전 판정의 응답 주체를 정하세요
자동 모드에서 Claude Code는 잠재적으로 위험한 작업 전에 서버 측 판정(요청의 safeguards 필드)을 기다립니다. 업스트림이 공식 Anthropic이면 판정이 같은 요청 안에서 생성되고 게이트웨이는 이를 그대로 전달합니다. 필드를 무시하는 제3자 업스트림이면 게이트웨이가 대신 응답하며 — 출하 기본값(allow_all)은 모든 작업을 허용하므로 호출을 그냥 두는 것보다 더 관대합니다. 해당 업스트림의 extra_config에 "anthropic_server_safeguards": "upstream"을 작성하면 경로를 업스트림으로 되돌릴 수 있습니다. 콘솔 설정은 관리자 전용입니다.

## 기능 정규화: 벤더 간 혼합을 가능하게 하는 토대
벤더 간 모델 혼합은 기능 정규화 계층 위에 서 있습니다. 이 계층이 일곱 가지 결합 지점을 통합하므로, 모델을 바꾸는 일이 글루 코드를 다시 쓰는 일이 되지 않습니다.
### 도구 호출 정규화
OpenAI / Anthropic / Gemini / 중국 모델은 도구 호출 스키마가 모두 다릅니다. 이를 기반 계층에서 통합해, 코드를 한 번 작성하면 모든 모델을 호출할 수 있습니다.
### 구조화 출력 호환성
제공자마다 프로토콜이 다릅니다(strict JSON schema, json_mode, tool_use). 이를 일관된 인터페이스로 통합합니다.
### 프롬프트 캐싱 통합
Anthropic cache_control, OpenAI 자동 캐싱, Gemini 컨텍스트는 메커니즘이 각각 다릅니다. 통합된 캐싱 전략을 제공합니다.
### 추론 토큰 적응
o1 / Claude thinking / DeepSeek R1의 출력 형식은 다릅니다. 각 제공자의 추론 토큰 프로토콜에 맞춰 적응합니다.
### 멀티모달 형식 지원
vision / audio / 파일 업로드 프로토콜은 제공자마다 다릅니다. 멀티모달 입력 형식을 통합합니다.
### 과금 모델 추상화
제공자별 요금 구조가 다릅니다. 이를 통합된 비용 추적 인터페이스로 추상화합니다.
### 오류 의미 정규화
벤더마다 오류 코드와 본문이 다릅니다. 이를 균일한 오류 본문으로 정규화하고, z-request-id로 모든 요청을 종단 간 연계합니다.
### 데이터 흐름: 온프레미스 유지, 저장되지 않음
BYOK 모드에서 API 키는 게이트웨이 메모리에만 저장되며, 영속화되거나 전송되지 않습니다. 요청은 게이트웨이를 거쳐 제공자의 공식 API로 직접 라우팅되며, 데이터는 프라이빗 네트워크를 벗어나지 않습니다.
SOC 2 통제 정렬

ISO 27001 통제 정렬

GDPR

## 왜 비용이 약 1/7일까요?
하루 10억 토큰을 처리하는 엔터프라이즈를 가정합니다. 같은 워크로드에 대해 "전 구간 최상위"와 "최상위가 계획, 오픈 모델이 실행"의 청구서를 비교해 보세요.
## 절감의 세 가지 원천:
- BYOK, 토큰 마진 없음 — 제공자에게 표준 요금을 지불하며 GateLLM은 중간 수수료를 받지 않습니다(집계 서비스는 보통 정가 위에 플랫폼 및 결제 수수료를 더합니다);
- 조합(Composition) — 오픈 SOTA 모델(GLM / Qwen / DeepSeek)이 분류, 추출, 번역 등 실행의 대부분을 맡고, 최상위 클로즈드 모델(Claude Opus 등)은 계획과 어려운 추론에만 사용됩니다;
- 프롬프트 캐싱 — 빈도가 높은 호출이 캐시에 적중하면 단가가 50%–90% 낮아집니다.
수치는 공개 가격을 바탕으로 한 예시 모델이며, 실제 절감액은 비즈니스 시나리오와 혼합 비율에 따라 달라집니다. Pro 라이선스 요금 $400/월(2GB 단일 인스턴스)은 GateLLM 플랜에 포함됩니다.

## 보이는 사용량, 정산되는 비용, 지켜지는 예산
Token Ops는 누가 무엇을 쓰는지 추적하고, Token FinOps는 토큰을 청구 가능한 비용으로 바꿉니다. 하나의 컨트롤 플레인이 AI 지출을 클라우드 지출처럼 운영 가능하게 만듭니다.
### 사용량 및 비용 관측성
모든 호출을 모델, 액세스 키, 키 그룹별로 분해하고 입력 / 출력 / 캐시 적중 토큰을 1분 단위로 별도 계량합니다.
- 모델 / 키 / 키 그룹별 그룹화
- 입력, 출력, 캐시 적중 별도 계량
- 24시간 / 7일 / 30일 / 사용자 지정 시계열
### 클라이언트 승인 및 감사 추적
승인한 클라이언트만 게이트웨이에 도달합니다 — User-Agent 기준으로 허용, 제한, 거부할 수 있습니다. 모든 호출은 엔드포인트 거버넌스와 규정 준수 증거를 위한 감사 기록을 남깁니다.
- 클라이언트 액세스 제어(User-Agent 정책)
- 로그 보존이 포함된 호출 기록(Pro 이상)
- 감사 / DLP 통합(Enterprise)
### 관리 API(프로그래밍 방식 제어)
API로 게이트웨이를 관리합니다: API 키 생성 / 폐기, 할당량 및 예산 설정, 사용량과 비용 조회, 감사 로그 내보내기 — 사내 운영 및 빌링 시스템에 연결하세요.
- 프로그래밍 방식 API 키 생성 / 폐기
- API를 통한 할당량 및 예산 설정
- 사용량 및 비용 조회 API
- 감사 로그 내보내기
### 자체 요율표 및 가격 스냅샷
협상한 프라이빗 가격을 직접 입력하면 그것이 권위 있는 값이 됩니다 — 시스템 새로고침이 이를 덮어쓰지 않습니다. 각 가격에는 적용 기간이 있습니다. 인하를 미리 예약할 수 있고, 편집해도 과거 비용이 다시 작성되지 않습니다.
- 고정된 프라이빗 가격이 자동 가격을 덮으며 절대 덮어쓰이지 않음
- 스냅샷은 시간 창에 따라 적용
- 과거 백필 / 인하 예약
- 토큰 · 호출당 · 초당 과금 모드
### 태그 기반 할당 및 차지백
키와 키 그룹에 태그를 붙이고 태그별로 사용량과 비용을 집계해 토큰 지출을 올바른 코스트 센터에 배분합니다. Excel 내보내기는 원장을 모델 × 키로 분할해 내부 쇼백이나 차지백에 쓸 수 있습니다.
- 키 / 키 그룹에 자유 형식 태그
- 태그별 사용량 및 비용 집계
- 6개 시트가 포함된 Excel 내보내기(키 × 모델 포함)
- 내부 쇼백 / 차지백에 바로 사용 가능
### 비용 할당량 및 한도
키별로 일일 및 월간 지출 상한을 설정합니다 — UTC 달력일과 월 기준으로 독립 판정되며, 둘 중 하나라도 초과하는 순간 차단됩니다. 할당량은 키 → 그룹 → 전역으로 상속되고, 그룹 간에는 가장 넓은 값이 적용됩니다.
- 일일 / 월간 상한, 독립 판정
- 키 → 그룹 → 전역 상속
- 429 quota_exceeded, 일일 한도에는 Retry-After

## GateLLM vs LiteLLM
출처를 검증한 비교입니다. LiteLLM에 없는 여러 메커니즘을 GateLLM만 제공하며, 양쪽 모두 갖춘 안정적인 기준선이 있고, 몇 가지는 성격 자체가 다릅니다. 마케팅 소음이 아니라 상위 두 계층을 기준으로 판단하세요.
### GateLLM만 제공
LiteLLM에 없는 메커니즘입니다 — 각 기능 아래에 "어떻게 동작하는지"를 한 줄로 적었습니다.
| 기능 | GateLLM | LiteLLM |
| --- | --- | --- |
| 조건부 모델 전환 | ✓ | ✗ |
| 프로토콜 / SDK 교차 혼합 | ✓ | ✗ |
| 단일 트랜잭션 구성 커밋 | ✓ | ✗ |
| 비용 할당량 하드 게이트 | ✓ | ✗ |
| 크래시 안전 과금 | ✓ | ✗ |
| 업스트림 키 풀링 및 고정 바인딩 | ✓ | ✗ |
| 세 가지 과금 모드 + 다중 통화 | ✓ | ✗ |
| 업스트림 SSO 자격 증명 로그인 | ✓ | ✗ |
| 기능 메타데이터 레지스트리 | ✓ | ✗ |
| LTS 릴리스 브랜치 | ✓ | ✗ |

- **조건부 모델 전환**: 선언적 switch-route 규칙 + 내장 계획 모드 탐지 + context.useModel() 스크립트 — 클라이언트 변경 제로. LiteLLM은 사용자 정의 Python 콜백이 필요합니다.
- **프로토콜 / SDK 교차 혼합**: 네이티브 임의 방향 진입점 — Anthropic SDK에서 GPT를, Gemini SDK에서 DeepSeek를 호출합니다. LiteLLM은 OpenAI 중심이라 역방향은 심(shim)을 거칩니다.
- **단일 트랜잭션 구성 커밋**: 스테이징 → 전체 충돌 집합 미리보기 → 원자적 커밋. 충돌이 하나라도 있으면 배치 전체가 롤백됩니다.
- **비용 할당량 하드 게이트**: 일일 / 월간 주기로 지출이 기준을 넘는 순간 429 quota_exceeded를 반환합니다. LiteLLM은 예산 알림만 보냅니다.
- **크래시 안전 과금**: 선차감 → 정산 → 환급과 진행 중 원장으로 프로세스가 중단되어도 정확합니다.
- **업스트림 키 풀링 및 고정 바인딩**: 가중 FNV-1a 해시로 각 호출자를 한 키에 고정하고, 실패하면 아직 시도하지 않은 다음 키로 페일오버합니다. weight=0은 대기 키입니다.
- **세 가지 과금 모드 + 다중 통화**: 토큰 / 호출당 / 기간당, USD/CNY/EUR/JPY/GBP, 사용자 정의 차원. LiteLLM은 토큰 기반 추적만 제공합니다.
- **업스트림 SSO 자격 증명 로그인**: 정적 키가 없는 벤더(예: Kiro)를 온보딩합니다. LiteLLM은 정적 API 키만 받습니다.
- **기능 메타데이터 레지스트리**: 자동 주입과 성능 저하를 구동합니다. 신모델의 기능 변동에 코드 변경이 필요 없습니다.
- **LTS 릴리스 브랜치**: N-1 + LTS 브랜치(/lifecycle 참조). LiteLLM은 최근 4개 마이너 라인만 지원합니다.

### 양쪽 모두 잘하는 것
안정적인 기준선입니다 — 어느 게이트웨이든 이 계층은 커버합니다. 결정은 위아래 계층에서 갈립니다.
| 기능 | GateLLM | LiteLLM |
| --- | --- | --- |
| API 라우팅 · 폴백 · 로드 밸런싱 | ✓ | ✓ |
| BYOK, 토큰 마진 없음 | ✓ | ✓ |
| 완전 자체 호스팅, 데이터 온프레미스 유지 | ✓ | ✓ |
| 벤더 간 도구 호출 정규화 | ✓ | ✓ |
| 구조화 출력(JSON Schema) 정규화 | ✓ | ✓ |
| 추론 / 사고 토큰 적응 | ✓ | ✓ |
| 모델 간 프롬프트 캐싱 | ✓ | ✓ |
| 웹 검색 주입 | ✓ | ✓ |
| MCP 게이트웨이(도구 집계) | ✓ | ✓ |
| 구성을 위한 시각적 콘솔 | ✓ | ✓ |
| 감사 로그 및 사용량 / 비용 계량 | ✓ | ✓ |

### 성격이 다른 것
더 낫거나 나쁘다기보다, 메커니즘과 패키징이 다르므로 직접 저울질해야 합니다.
| 기능 | GateLLM | LiteLLM |
| --- | --- | --- |
| 런타임 | 단일 Rust 바이너리 · GC 일시 정지 없음 | Python 프로세스 + 의존성 스택 |
| 프로토콜 번역 표면 | 15가지 프로토콜 형태. 네 가지 채팅 프로토콜 계열(OpenAI / Anthropic / Gemini / DashScope)은 임의 방향 번역, 나머지는 상호 운용 매트릭스 기준 | OpenAI 중심 봉투 + 호환 엔드포인트 |
| 네이티브 프로토콜 진입점 | /v1/messages + count_tokens, Gemini generateContent, /v1beta/cachedContents CRUD, /v1/realtime, /mcp — 하나의 게이트웨이가 모든 SDK를 네이티브로 서비스 | OpenAI 호환 엔드포인트(및 호환 변형) |
| 프롬프트 캐싱 깊이 | OpenAI 프로토콜 호출에 캐시 브레이크포인트 자동 주입 + 프로토콜 간 매핑 + Google cachedContent 중복 제거 | cache_control을 그대로 전달하고 사용량을 정규화 |
| 로그 프라이버시 기본값 | 요청 로그 기본 꺼짐 · 저장된 로그 본문은 모든 이그레스 표면에서 마스킹, 원본 열람은 관리자 전용이며 감사됨 · 기본 보존 7일 | 요청/응답 로깅 켜짐, 가드레일을 통한 마스킹 |
| 구성 방식 | 전부 콘솔에서 — YAML 없음, 변경 즉시 적용 | config.yaml 중심 |
| 엔터프라이즈 SSO 및 SCIM 패키징 | OIDC + SAML 2.0 + SCIM이 인스턴스당 정액 라이선스에 포함, 좌석당 요금 없음 | OSS는 SSO를 5명으로 제한, SCIM은 사용량 기반 Enterprise 등급 필요 |
| 라이선스 | 인스턴스 / 메모리당 정액, 좌석 없음, 토큰 마진 없음 | OSS 무료, Enterprise는 사용량 기반 |
| 지원 SLA | 정액 라이선스에 우선 지원 포함 | Standard 등급은 응답 시간 약정 없음, 24/7 SLA는 유료 추가 기능(Sev0 1시간 / Sev1 6시간) |
| 엔드포인트 표면 | Chat / realtime / MCP 핵심 엔드포인트 | /batches, /files, /fine_tuning, /vector_stores, /videos, /containers 추가 |
| 서드파티 생태계 | 내장 로그 / Prometheus / OTel — 표준 프로토콜 이그레스, 특정 벤더 종속 없음. 시크릿 및 PII 탐지가 게이트웨이에 내장되어 서드파티 엔진 불필요 | AWS KMS / Vault / CyberArk 시크릿 관리자, Presidio PII 가드레일, Langfuse / Langsmith / Arize 관측성 |

2026-09-04 기준 각 제품의 공식 문서(docs.litellm.ai / docs.gatellm.io)로 검증했습니다. 일부 LiteLLM 기능은 Enterprise 라이선스가 필요하며, 세부 사항은 달라질 수 있으니 도입 전에 출처를 확인하세요.

## 시크릿과 PII는 들어오는 길목에서 탐지됩니다 — 다음에 무엇을 할지는 직접 정합니다.
결정적 규칙 엔진이 모든 모델 요청에서 자격 증명 형식과 PII를 검사하고, 시크릿 자체는 기록하지 않으면서 발견 사실만 기록합니다. 내장 규칙은 꺼진 상태이자 관찰 모드로 출하됩니다. 직접 무장시킨 뒤 범위별로 로그, 마스킹, 차단을 선택하세요. 탐지 경로에 모델은 없습니다.
### 결정적 탐지, 경로에 모델 없음
구조적으로 결정적입니다: 먼저 리터럴 탐침, 그다음 문맥 단어를 요구하는 정규식 규칙, 마지막으로 체크섬 검증기 — 카드 번호의 Luhn, IBAN의 mod-97, 국가 ID 체크섬, PEM 및 OpenSSH 개인 키 블록, IPv4.
- 자격 증명 형식: 모델 제공자 API 키, 클라우드 액세스 키, GitHub 및 GitLab 토큰, JWT, PEM 및 OpenSSH 개인 키, Slack 토큰
- PII 범주: 중국 본토 휴대전화 번호, 주민등록번호, 은행 카드 번호, IBAN, 이메일 주소, IPv4 주소
- 멀티턴 대화는 새로 추가된 부분만 검사합니다 — 커서 해시 체인이 긴 세션이 이미 정리된 텍스트를 다시 검사하지 않게 합니다
### 클라이언트가 복원해 볼 수 있는 마스킹, 아무것도 흘리지 않는 차단
마스킹 모드에서는 업스트림 모델이 번호가 매겨진 자리 표시자를 받고, 클라이언트는 실제 값을 복원해 받습니다 — 스트리밍 중에도 SSE 프레임별로 복원됩니다. 차단 모드에서는 거부 응답에 규칙 범주와 요청 ID만 담기고, 일치한 텍스트는 절대 담기지 않습니다.
- 업스트림은 자리 표시자를 보고, 데이터 소유자인 클라이언트는 자신의 값을 그대로 돌려받습니다
- 긴 붙여넣기도 예외가 아닙니다 — 초과 크기 문자열은 디스크로 흘려보내고 고정 크기 창으로 다시 스캔하므로, 페이로드 크기와 무관하게 메모리가 일정합니다
- 허용 목록은 경로가 아니라 값으로 일치합니다: 테스트 키 하나를 승인해도 필드 전체가 조용히 면제되지 않습니다
### 로그 본문: 수신 그대로 저장, 모든 출구에서 마스킹
출하 이미지에서는 요청 로그 영속화가 꺼져 있습니다. 켜면 본문은 수신한 그대로 저장된 뒤 모든 이그레스 표면에서 마스킹됩니다 — Console API는 기본적으로 마스킹하고, SSE와 터미널 출력은 항상 마스킹되며, 마스킹 실패 시 흘려보내는 대신 응답을 닫습니다.
- 원본 내용 열람은 명시적 행위입니다: 관리자 역할과 명시적 열람 플래그가 모두 필요하며, 감사되고 집계됩니다
- 마스킹은 민감한 본문 키, 민감한 쿼리 및 URL 파라미터, 정적 및 사용자 정의 인증 스킴 헤더, 부분 노출이 있는 베어러 토큰 값을 포함합니다
- 발견 항목은 제한된 주변 문맥과 함께 마스킹된 스니펫을 보관하며 일치한 텍스트는 보관하지 않습니다. 발견 항목은 로그 보존 기간을 따르며 기본값은 7일입니다
의도적으로 기본 꺼짐
내장 규칙 팩은 비활성 상태로 출하되고, 모든 내장 규칙의 동작은 로그입니다. 이는 공백이 아니라 안전한 롤아웃입니다: 실제 트래픽에서 어떤 일이 일어났을지 먼저 확인하고, 자체 오탐에 맞춰 허용 목록을 조정한 뒤, 중요한 곳에서 마스킹이나 차단을 무장시키세요. 정책은 전역, 액세스 키 그룹별, 액세스 키별로 범위를 정할 수 있고, 규칙은 핫 리로드됩니다.
#### log
관찰합니다. 발견 항목이 마스킹된 스니펫과 함께 콘솔에 표시되며, 요청 자체는 그대로입니다.
#### mask
복원 가능하게 강제합니다. 업스트림은 자리 표시자를 보고, 클라이언트는 여전히 실제 값을 받습니다.
#### block
거부합니다. 요청은 규칙 범주와 요청 ID와 함께 거부되며, 일치한 텍스트는 절대 포함되지 않습니다.
### 무엇이고, 무엇이 아닌지
#### 무엇인지
- 자체 게이트웨이 프로세스 안, 모델 요청 경로에서 실행되며 전역 / 액세스 키 그룹별 / 액세스 키별로 범위를 정합니다
- 전용 콘솔 페이지: 관리자 및 모니터 역할용 발견 항목 보기, 관리자용 규칙 보기, 메모리 예산 사전 검사가 있는 켜기/끄기 스위치, 핫 리로드, 감사 항목
- 드라이런 미리보기 엔드포인트가 있어 규칙을 무장하기 전에 샘플로 시험할 수 있습니다
- 모든 발견 항목은 규칙 이름, 범주, 심각도, 취한 조치, 일치 수, 모델, 액세스 키 이름으로 추적됩니다

#### 무엇이 아닌지
- 응답 콘텐츠 탐지 없음 — 응답 구간은 자리 표시자를 복원할 뿐입니다
- ML 없음, 탈옥 또는 프롬프트 주입 탐지 없음, 모더레이션 API 없음: 규칙은 결정적입니다
- 오프라인 재감사 없음 — 요청 시점에 스캔되지 않은 콘텐츠는 나중에도 스캔되지 않습니다
- DLP 제품군이 아님: 엔드포인트, 이메일 또는 기타 이그레스 채널을 커버하지 않습니다
- 여권, SSN, 이름, 주소 탐지기는 없으며 알려진 잔여 공백이 문서화되어 있습니다 — base64로 인코딩된 미디어 이탈은 건너뛰고, 두 스트림 프레임에 걸쳐 분할된 자리 표시자는 그대로 통과합니다

## 실제로 얻는 것.
구매 담당자가 신경 쓰는 세 가지를 가격보다 먼저 정리합니다: 법무가 서명할 수 있는 DPA, 통제 불가능하게 커지지 않는 청구서, 우리에게 절대 도달하지 않는 프롬프트.
### 법무팀이 서명할 수 있는 DPA
GDPR 및 CCPA 대응, 법무팀이 실제로 서명할 수 있는 DPA를 제공합니다. 자체 호스팅으로 데이터가 경계를 벗어나지 않으며, Enterprise SSO(OIDC / SAML 2.0)와 SCIM 2.0 프로비저닝이 포함됩니다.
- GDPR
- CCPA
- DPA
- SSO
- SCIM
- 감사 추적
### 통제 불가능하게 커지지 않는 청구서
BYOK: 제공자에게 표준 요금을 지불하며 토큰 마진도, 좌석당 요금도 없습니다. 키와 프로젝트별 하드 할당량 상한이 폭주하는 스크립트가 예산을 넘어서지 못하게 막습니다.
- 토큰 마진 없음
- 좌석당 요금 0
- 프롬프트 캐시
- 하드 할당량 상한
- 30일 환불
### 프롬프트는 우리에게 도달하지 않습니다
완전 자체 호스팅 — 프롬프트와 완료 응답은 우리 시스템에 전혀 들어오지 않습니다. BYOK 키는 게이트웨이 메모리에만 있으며, 요청은 제공자 API로 곧장 가고 네트워크를 벗어나지 않습니다.
- 데이터 온프레미스 유지
- 키 영속화 없음
- TLS 1.3
- 클라이언트 승인
- 직접 선택한 모델

## 완전 자체 호스팅 · 단일 인스턴스 2GB · 토큰 요금에 절대 마진 없음
BYOK(자체 키 사용) — 제공자에게 표준 요금을 지불합니다. 저희는 2GB 인스턴스 하나를 라이선스하며, 좌석이나 토큰 마진으로 과금하지 않습니다. 더 큰 메모리나 다중 인스턴스는 Enterprise로 진행합니다.
코어는 Rust로 구축되었습니다. 게이트웨이 포워딩 계층에서 메모리 1GB당 분당 약 1억 토큰(TPM)과 분당 약 500 요청(RPM)을 지속하며, 일반적인 사용자 약 100명을 무리 없이 처리합니다. 이는 참고 수치입니다: 실제 처리량은 자체 제공자의 속도 제한과 요청 복잡도에 의해 제한되며 SLA 약정이 아닙니다.
모든 플랜에 포함: 토큰 마진 없는 BYOK · 100개 이상 제공자 라우팅 · 클라이언트 액세스 제어 · 프롬프트 캐싱 · 비용 할당량
### Free
$0
완전 자체 호스팅 · 단일 라이선스
512MB 단일 인스턴스, 로그 보존 없음 — 평가와 PoC에는 적합하지만 프로덕션 트래픽에는 맞지 않습니다.
- 100개 이상 LLM 라우팅 · 폴백 · 로드 밸런싱
- 벤더 간 모델 혼합 · 에이전트 내 다운그레이드(계획 모드 고정 / 비계획 자동 다운그레이드)
- 클라이언트 액세스 제어(User-Agent 정책)
- 프롬프트 캐싱
- BYOK(자체 키 사용, 마진 없음)
- 512MB 메모리 상한 · SQLite · 단일 인스턴스
- 자체 게이트웨이를 통한 GitHub Actions 코드 리뷰
- 로그 보존 없음
### Pro
$400
2GB 고정 상한, 추가 기능 없음. 다중 노드, 규정 준수(Audit/DLP), 관리 API가 필요하면 Enterprise로 진행하세요.
- 모든 Free 기능
- 2GB 메모리 · 단일 인스턴스(고정 상한, 추가 구매 불가)
- 로그 보존
- Enterprise SSO(OIDC: Azure AD / Okta / 범용, 추가로 SAML 2.0 + SCIM)
- PostgreSQL · 2GB 메모리
- 이메일 / 티켓 지원
만족하지 못하면 30일 이내 100% 환불
### Enterprise
$400/GB부터
메모리 용량 기준 · 연간 청구 · 30일 환불
- 모든 Pro 기능
- 용량 기반 과금(노드 × 메모리, $400/GB/월 정액)
- 다중 노드 / 클러스터 배포
- 자체 게이트웨이를 통한 GitHub Actions 코드 리뷰
- Microsoft 365 추가 기능(Excel/Word/PPT/Outlook, 유료 추가 기능)
- 확장된 로그 보존
- 우선 지원 응답
- 규정 준수(Audit / DLP)
- 관리 API(프로그래밍 방식 API 키 · 할당량 · 사용량 조회 · 감사 내보내기)
더 많은 용량이나 맞춤 구성이 필요하신가요?
## 기능 비교

| 기능 | Free | Pro | Enterprise |
| --- | --- | --- | --- |
| 멀티 모델 라우팅 · 폴백 · 로드 밸런싱 | ✓ | ✓ | ✓ |
| 벤더 간 모델 혼합(벤더별 계획/실행) | ✓ | ✓ | ✓ |
| 에이전트 내 모델 다운그레이드(계획 모드 고정 / 비계획 자동 다운그레이드) | ✓ | ✓ | ✓ |
| 프롬프트 캐싱 | ✓ | ✓ | ✓ |
| BYOK(자체 키 사용, 마진 없음) | ✓ | ✓ | ✓ |
| 메모리 등급 | 512MB | 2GB(고정) | 맞춤 |
| 스토리지 / 데이터베이스 | SQLite(단일 인스턴스) | PostgreSQL · 2GB | PostgreSQL + Redis 클러스터 |
| 배포 규모 | 1 인스턴스 | 1 인스턴스 · 2GB | 다중 노드 / 클러스터 |
| GB당 처리량(참고) | — | 2GB ≈ 200M TPM / 1,000 RPM | GB당 ≈ 100M TPM / 500 RPM |
| 로그 보존 | 없음 | 보존 | 확장 보존 |
| SSO(OIDC / SAML 2.0) | — | ✓ | ✓ |
| SCIM 2.0 자동 프로비저닝 | — | ✓ | ✓ |
| 규정 준수(Audit / DLP) | — | — | ✓ |
| 관리 API(프로그래밍 방식 키 · 할당량 · 사용량 · 감사) | — | — | ✓ |
| 자체 요율표 / 가격 스냅샷(프라이빗 가격 포함) | ✓ | ✓ | ✓ |
| 비용 할당량(일일 / 월간, 3단계 상속) | ✓ | ✓ | ✓ |
| 지원 응답 | 커뮤니티 | 이메일 / 티켓 | 우선 응답 |
| 모드 인식 모델 정책(계획/실행, 강제 가능) | ✓ | ✓ | ✓ |
| 클라이언트 액세스 제어(User-Agent 정책) | ✓ | ✓ | ✓ |
| GitHub Actions 코드 리뷰(자체 게이트웨이 경유) | ✓ | ✓ | ✓ |
| Microsoft 365 추가 기능(Excel/Word/PPT/Outlook, 자체 호스팅) | — | 추가 기능 | 추가 기능 |
| Purview 민감도 라벨 게이팅(addin.access / file.upload) | — | — | ✓ |

## FAQ
### AI 게이트웨이는 지연 시간을 얼마나 추가하나요?

SaaS 게이트웨이는 네트워크를 나가는 홉을 하나 더 추가합니다. GateLLM은 VPC 내부에 자체 호스팅되며, 벤더 API로 가는 추가 홉은 로컬 프로세스 간 통신입니다 — 1밀리초 미만의 오버헤드로, 스트리밍 첫 토큰 시간에 미치는 영향은 무시할 수준입니다.
### 제공자가 실패하거나 속도 제한에 걸리면 어떻게 되나요?

단일 제공자 직접 호출은 단일 장애점입니다. GateLLM은 제공자 간 폴백을 지원합니다 — 기본 제공자가 5xx를 반환하거나 시간 초과하면 코드 변경 없이 트래픽이 백업 제공자로 이동합니다. 또한 업스트림마다 여러 키를 풀링합니다: 결정적 해시가 각 호출자를 한 키에 고정 바인딩하고, 키가 실패하면 게이트웨이가 아직 시도하지 않은 다음 키로 재시도합니다.
### 게이트웨이가 정말 필요한가요?

솔직한 기준: 단일 제공자, 단일 팀, 규정 준수 제약 없음, 월 지출이 감당 가능한 수준이라면 API를 직접 호출하세요. 게이트웨이는 필요하지 않습니다. 게이트웨이는 다중 제공자 페일오버, 팀별 비용 귀속, 규정 준수 / 데이터 상주, 폭주 지출에 대한 실시간 가시성이 필요해질 때부터 값을 합니다.
### GateLLM은 BYOK 모드에서 어떻게 수익을 내나요?

2GB 메모리의 단일 인스턴스를 라이선스합니다(Pro 월 $400, 연간 결제 시 20% 할인된 연 $3,840). 토큰 마진도, 좌석당 요금도 없습니다. 제공자에게는 표준 요금을 지불하며 GateLLM은 중간 수수료를 받지 않습니다.
### 제 API 키와 데이터가 네트워크를 벗어나나요?

아니요. BYOK 모드에서 API 키는 게이트웨이 메모리에만 저장되며, 영속화되거나 전송되지 않습니다. 요청은 게이트웨이를 거쳐 제공자의 공식 API로 직접 라우팅됩니다 — 데이터는 프라이빗 네트워크를 벗어나지 않습니다.
### 게이트웨이가 더 저렴한 대체 모델이 아니라 실제 모델을 서비스하는지 어떻게 알 수 있나요?

SaaS 집계 서비스라면 그 말을 믿는 수밖에 없습니다. GateLLM은 BYOK이자 자체 호스팅입니다: 자체 키를 사용하고 요청은 게이트웨이에서 벤더 API 엔드포인트로 곧장 갑니다 — 모델 아이덴티티는 벤더 API 자체가 보장하며, 중간에 교체 가능한 홉이 없습니다.

## 멀티 모델 AI 앱 구축을 시작하세요
완전 자체 호스팅 · 단일 인스턴스 2GB · 토큰 요금에 절대 마진 없음.

## 관련 페이지
- [요금](https://www.gatellm.io/ko/pricing.md)
- [비용 계산기](https://www.gatellm.io/ko/calculator.md)
- [소개](https://www.gatellm.io/ko/about.md)
- [데모 예약](https://www.gatellm.io/ko/demo.md)
- [FAQ](https://www.gatellm.io/ko/faq.md)
- [AI 게이트웨이 비교](https://www.gatellm.io/ko/compare.md)
- [LiteLLM 비교](https://www.gatellm.io/ko/compare/litellm.md)
- [OpenRouter 비교](https://www.gatellm.io/ko/compare/openrouter.md)
- [Alibaba Cloud AI Gateway 비교](https://www.gatellm.io/ko/compare/alibaba-cloud.md)
- [Azure API Management 비교](https://www.gatellm.io/ko/compare/azure-apim.md)
- [Apigee 비교](https://www.gatellm.io/ko/compare/apigee.md)
- [Cloudflare AI Gateway 비교](https://www.gatellm.io/ko/compare/cloudflare.md)
- [Kong AI Gateway 비교](https://www.gatellm.io/ko/compare/kong.md)
- [Portkey 비교](https://www.gatellm.io/ko/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ko/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ko/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ko/compare/litellm-vs-portkey.md)
- [사용 사례](https://www.gatellm.io/ko/use-cases.md)
- [LLM 비용 절감](https://www.gatellm.io/ko/use-cases/reduce-cost.md)
- [고가용성](https://www.gatellm.io/ko/use-cases/high-availability.md)
- [멀티테넌트 격리](https://www.gatellm.io/ko/use-cases/multi-tenant.md)
- [컴플라이언스 및 감사](https://www.gatellm.io/ko/use-cases/compliance-audit.md)
- [증상별 트러블슈팅](https://www.gatellm.io/ko/use-cases/troubleshooting.md)
- [다중 벤더 혼합 모델 스택](https://www.gatellm.io/ko/use-cases/mixed-model-stack.md)
- [Office 내 AI 셀프 호스팅](https://www.gatellm.io/ko/use-cases/self-hosted-office-ai.md)
- [Token 사용량 가시성 및 귀속](https://www.gatellm.io/ko/use-cases/token-ops.md)
- [Token FinOps: AI 비용 배분 및 통제](https://www.gatellm.io/ko/use-cases/token-finops.md)
- [MCP 도구 거버넌스](https://www.gatellm.io/ko/use-cases/mcp-tool-governance.md)
- [모든 모델에 웹 검색 추가](https://www.gatellm.io/ko/use-cases/web-search-grounding.md)
- [다중 키 로테이션 및 대기](https://www.gatellm.io/ko/use-cases/multi-key-pooling.md)
- [연결 클라이언트 접근 제어](https://www.gatellm.io/ko/use-cases/client-admission-control.md)
- [모델 사용 정책 강제](https://www.gatellm.io/ko/use-cases/enforce-model-policy.md)
- [클라이언트에 모델 선택 비노출](https://www.gatellm.io/ko/use-cases/automatic-model-tiering.md)
- [하나의 프로토콜, 어떤 모델이든](https://www.gatellm.io/ko/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 추가 기능](https://www.gatellm.io/ko/office-addin.md)
- [용어집](https://www.gatellm.io/ko/glossary.md)
- [모델 카탈로그](https://www.gatellm.io/ko/models.md)
- [SDK 및 프레임워크 통합](https://www.gatellm.io/ko/integrations.md)
- [AI 코딩 에이전트 및 하네스](https://www.gatellm.io/ko/coding-agents.md)
- [보안 및 컴플라이언스](https://www.gatellm.io/ko/security.md)