# LLM 게이트웨이란? 정의, 용도, 선택 기준 - GateLLM

> LLM 게이트웨이는 모든 앱, 에이전트, IDE가 호출하는 단일 엔드포인트입니다. 프로토콜 변환, 키 보관, 계량, 감사를 한곳에 모읍니다. 무엇을 하는지, 언제 필요하고 언제 불필요한지, 어떻게 고르는지 설명합니다.

표준 링크: https://www.gatellm.io/ko/llm-gateway/

## LLM 게이트웨이란?

모든 앱, 에이전트, IDE가 호출하는 단일 엔드포인트 — 그리고 모델 트래픽을 라우팅하고 계량하고 보호하고 감사하는 한곳.

이 용어는 느슨하게 쓰입니다. 같은 계층을 AI 게이트웨이, LLM 프록시, LLM 라우터라고 부르는 공급자도 있습니다. 이 페이지는 정확히 정의하고, 혼동하기 쉬운 것들과 구분하며, 도입하지 말아야 할 경우도 분명히 밝힙니다.

LLM 게이트웨이 — AI 게이트웨이 / LLM 프록시 / LLM 라우터

## LLM 게이트웨이란?

LLM 게이트웨이는 애플리케이션과 모델 공급자 사이에 위치하는 서비스입니다. 애플리케이션은 하나의 엔드포인트를 호출하고, 게이트웨이는 각 요청을 설정한 모델로 전달하며 프로토콜을 변환하고 공급자 키를 보관하고 사용량을 기록합니다. 고객 트래픽으로 학습하지 않고, 프롬프트를 바꾸지 않으며, 모델을 대체하지도 않습니다.

- 모델이 아니라 인프라입니다. 모델은 고객이 선택한 공급자에 그대로 있습니다.
- 하나의 엔드포인트로 채팅 앱, 코딩 에이전트, 배치 작업, 실시간 음성, MCP 도구 호출을 처리합니다.
- 유용한 구분:요청 경로는 게이트웨이가, 프롬프트는 애플리케이션이 소유합니다.

## LLM 게이트웨이는 실제로 무엇을 하나?

네 가지 일을 합니다. 각 요청을 알맞은 모델로 라우팅하고, 프로토콜을 정규화해 어떤 클라이언트든 어떤 공급자와도 대화하게 하고, 키와 접근 제어를 한곳에 모으고, 모든 호출을 비용과 감사를 위해 기록합니다. 캐시, 예산, 콘텐츠 검사는 이 네 가지 위에 올라갑니다.

- 라우팅과 폴백: 에이전트 역할별로 모델을 고르고, 5xx 나 타임아웃 시 다른 공급자로 재시도하며, 업스트림 키를 풀링합니다.
- 프로토콜 변환: 네 가지 채팅 프로토콜 계열을 양방향 변환해 클라이언트가 기존 SDK를 그대로 씁니다.
- 거버넌스: 키 그룹, 요청 헤더 기반 입장 제어, 테넌트별 쿼터, SSO와 SCIM, 요청 단위 감사 로그.
- 관측성: 키·팀·모델별로 분 단위 토큰과 비용 시계열.

## 기업은 왜 모델 앞에 게이트웨이를 두나?

모델 접근이 더 이상 한 팀의 문제가 아니기 때문입니다. 여러 팀, 공급자, 에이전트가 모델을 호출하기 시작하면 질문은 조달 질문이 됩니다. 누가 어떤 모델을 쓸 수 있는지, 부서별 비용은 얼마인지, 데이터가 외부로 나갔는지, 공급자를 바꾸는 데 엔지니어링 시간이 얼마나 드는지. 게이트웨이는 이를 코드 변경이 아니라 설정으로 답합니다.

- 비용 귀속: 모든 호출에 키와 태그가 붙어 팀별로 비용을 나눌 수 있습니다.
- 데이터 경로: 게이트웨이는 고객 네트워크에서 실행되고 요청은 설정한 엔드포인트로만 갑니다.
- 연속성: 공급자 장애와 모델 변경을 라우팅 계층에서 처리합니다.
- 조달: 자체 호스팅 + BYOK로 키와 트래픽이 자사 공급자 계약 아래 남습니다.

## 언제 정말 LLM 게이트웨이가 필요한가?

다음 중 두 가지 이상이 사실일 때입니다. 모델 공급자가 둘 이상, 사용 팀이 둘 이상, 규정 준수나 데이터 상주 요구가 있음, 또는 청구서를 아무도 설명할 수 없을 만큼 지출이 큼. 그 선 아래에서는 공급자 API를 직접 호출하는 편이 더 간단하고 저렴합니다. 게이트웨이는 운영할 서비스가 하나 더 늘어나는 일입니다.

- 역량, 비용, 장애 대비를 위해 두 곳 이상의 공급자를 쓴다.
- 팀별 또는 고객별 비용 보고가 반복적으로 요구된다.
- 데이터가 특정 네트워크, 리전, 테넌트 밖으로 나갈 수 없다.
- 여러 에이전트와 IDE가 지금 API 키 한두 개를 공유한다.

## 게이트웨이가 잘못된 선택인 경우는?

팀 하나, 공급자 하나, 애플리케이션 하나뿐일 때입니다. 게이트웨이는 홉, 배포, 온콜 대응 면을 늘립니다. 월 모델 비용이 예측 가능하고 규정 준수 요건이 단순하다면 공급자 API를 직접 호출하고, 두 번째 공급자나 두 번째 팀, 첫 감사 요청이 올 때 다시 검토하세요.

- 한 공급자 위의 프로토타입이나 단일 내부 도구에는 필요 없습니다.
- 프롬프트 관리와 모델 평가는 다른 제품이며 게이트웨이가 대체하지 못합니다.
- 어떤 게이트웨이도 공급자 계약을 읽어 주지 않습니다.

## 게이트웨이는 중계 서비스나 공급자 SDK 직접 호출과 무엇이 다른가?

중계 서비스는 고객 대신 공급자로 트래픽을 전달하며, 흔히 키를 맡고 수수료를 붙입니다. 직접 운영하는 게이트웨이는 키와 트래픽을 자사 네트워크에 두고 라우팅, 계량, 정책을 더합니다. 공급자 SDK 직접 호출은 이 간접 계층을 없애지만 재시도, 프로토콜, 계량 로직이 모든 애플리케이션에 흩어집니다.

- 프로토타입에는 중계 서비스도 괜찮습니다. 대가는 프롬프트와 키가 자사 네트워크를 떠나는 것입니다.
- SDK만 쓰는 방식은 두 번째 공급자가 생길 때까지 가장 저렴합니다. 그때 모든 앱에 같은 접착 코드가 필요해집니다.
- 셋 중 "누가 얼마를 썼는가"에 답할 수 있는 것은 게이트웨이뿐입니다.

| 기준 | 자체 호스팅 게이트웨이 | 중계 / 애그리게이터 | 공급자 SDK만 |
| --- | --- | --- | --- |
| 실행 위치 | 자사 VPC 또는 온프레미스 | 공급업체 클라우드 | 각 애플리케이션 내부 |
| 키 보관 주체 | 자사 시크릿 저장소. 런타임에는 게이트웨이 메모리 | 중계 업체 | 각 애플리케이션 |
| 모델 범위 | 설정한 모든 공급자 | 업체 카탈로그 | SDK당 한 공급자 |
| 라우팅과 폴백 | 역할별, 키별, 공급자 간 | 업체 카탈로그로 제한 | 직접 구현 |
| 비용 보고 | 키·그룹·모델별, 자사 원장 기준 | 업체 대시보드 | 직접 만든 범위 |
| 감사 범위 | 자사가 보유한 요청 단위 로그 | 업체 로그 | 앱마다 분산 |

## 게이트웨이는 자체 호스팅과 SaaS 중 무엇이어야 하나?

키, 프롬프트, 로그가 자사 네트워크를 떠날 수 없거나 조달이 추가 하위 처리자를 받아들이지 않을 때 자체 호스팅입니다. 플랫폼 팀이 없고 운영 부담을 없애고 싶을 때는 SaaS가 낫습니다. 결정하는 질문은 유행이 아니라 누가 고객 트래픽을 읽을 수 있는가입니다.

- 자체 호스팅의 비용은 컨테이너, 업그레이드, 런북입니다. SaaS의 비용은 구독과 하위 처리자 검토입니다.
- 하이브리드도 있습니다. 자체 호스팅 데이터 플레인에 업체 컨트롤 플레인으로, 프롬프트는 안에 남아도 메타데이터는 나갈 수 있습니다.
- 요청할 것은 데이터 흐름도이며 마케팅 페이지가 아닙니다.

| 기준 | 자체 호스팅 | SaaS |
| --- | --- | --- |
| 데이터 경로 | 자사 네트워크에 남음 | 업체를 경유 |
| 키 보관 | BYOK, 게이트웨이 메모리에만 | 업체 관리 또는 전달 |
| 운영 비용 | 컨테이너와 업그레이드를 직접 | 업체가 운영 |
| 첫 요청까지 | Compose 파일 하나 | 가입 |
| 규정 준수 범위 | 자사 DPA와 하위 처리자 | 업체 DPA와 하위 처리자 |
| 장애 도메인 | 자사 인프라 | 업체 상태 페이지 |

## 어떻게 고르면 좋은가?

다섯 가지로 후보를 평가합니다. 어디서 실행되는지, 청구가 무엇에 고정되는지, 어떤 프로토콜과 SDK를 기본으로 지원하는지, 키와 테넌트를 얼마나 세밀하게 통제하는지, 내년에도 그 업체가 제품을 보유할지. 마지막으로 어떤 표에도 없는 한 가지를 확인합니다. 한 달 전 비용 보고서를 오늘 재현할 수 있는가.

- 배포: 자체 호스팅, SaaS, 하이브리드. 컨트롤 플레인이 자사로 통신하는지도 확인합니다.
- 청구 기준: 인스턴스당, 좌석당, 토큰당, 지출 비율.
- 프로토콜: OpenAI, Anthropic, Gemini, DashScope 양방향 변환과 스트리밍·도구 호출 동등성.
- 거버넌스: 키 그룹, 헤더 ACL, 예산, SSO와 SCIM, 감사 내보내기.
- 재현성: 같은 입력으로 몇 달 뒤에도 같은 숫자.

## LLM 게이트웨이 FAQ

### LLM 게이트웨이와 AI 게이트웨이는 같은 것인가?

실무적으로는 같습니다. 두 이름 모두 애플리케이션과 모델 사이의 계층을 가리킵니다. 차이는 범위로, 이미지·음성·임베딩까지 중계하는 제품도 있습니다. GateLLM은 채팅, 실시간 음성, 웹 검색, MCP 도구 호출을 같은 엔드포인트로 처리합니다.

### 게이트웨이가 지연을 더하나?

자사 네트워크 안에서 한 홉만 더합니다. GateLLM은 자체 추론 단계를 추가하지 않으며, 업스트림 공급자 응답 시간에 비해 작습니다. 스트리밍 토큰도 도착하는 대로 전달됩니다.

### 게이트웨이가 프롬프트를 보나?

라우팅을 위해 메모리에서 처리하고, 설정에 따라 요청 경로에서 자격 증명과 PII를 탐지·마스킹합니다. 요청 로그는 기본적으로 꺼져 있습니다. 켜면 저장되는 본문은 모든 출구에서 마스킹되며 원문 열람은 관리자만 가능하고 감사에 남습니다.

### 게이트웨이 하나를 여러 팀이 쓸 수 있나?

가능합니다. 키 그룹, 그룹별 ACL, 테넌트별 쿼터가 그 수단입니다. 팀마다 키와 예산을 따로 두면서 모델 카탈로그와 라우팅 규칙은 공유합니다.

## 계속 읽기

- [AI 게이트웨이 비교](https://www.gatellm.io/ko/compare.md)
- [사용 사례](https://www.gatellm.io/ko/use-cases.md)
- [용어집](https://www.gatellm.io/ko/glossary.md)
- [비용 계산기](https://www.gatellm.io/ko/calculator.md)
- [비용 비교 계산 방식](https://www.gatellm.io/ko/methodology.md)
- [엔터프라이즈 AI 거버넌스](https://www.gatellm.io/ko/enterprise-ai-governance.md)

## 관련 페이지
- [홈](https://www.gatellm.io/ko/index.md)
- [요금](https://www.gatellm.io/ko/pricing.md)
- [비용 계산기](https://www.gatellm.io/ko/calculator.md)
- [소개](https://www.gatellm.io/ko/about.md)
- [데모 예약](https://www.gatellm.io/ko/demo.md)
- [FAQ](https://www.gatellm.io/ko/faq.md)
- [AI 게이트웨이 비교](https://www.gatellm.io/ko/compare.md)
- [LiteLLM 비교](https://www.gatellm.io/ko/compare/litellm.md)
- [OpenRouter 비교](https://www.gatellm.io/ko/compare/openrouter.md)
- [Alibaba Cloud AI Gateway 비교](https://www.gatellm.io/ko/compare/alibaba-cloud.md)
- [Azure API Management 비교](https://www.gatellm.io/ko/compare/azure-apim.md)
- [Apigee 비교](https://www.gatellm.io/ko/compare/apigee.md)
- [Cloudflare AI Gateway 비교](https://www.gatellm.io/ko/compare/cloudflare.md)
- [Kong AI Gateway 비교](https://www.gatellm.io/ko/compare/kong.md)
- [Portkey 비교](https://www.gatellm.io/ko/compare/portkey.md)
- [Microsoft 365 Copilot 대안](https://www.gatellm.io/ko/compare/copilot.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ko/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ko/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ko/compare/litellm-vs-portkey.md)
- [사용 사례](https://www.gatellm.io/ko/use-cases.md)
- [LLM 비용 절감](https://www.gatellm.io/ko/use-cases/reduce-cost.md)
- [고가용성](https://www.gatellm.io/ko/use-cases/high-availability.md)
- [멀티테넌트 격리](https://www.gatellm.io/ko/use-cases/multi-tenant.md)
- [컴플라이언스 및 감사](https://www.gatellm.io/ko/use-cases/compliance-audit.md)
- [증상별 트러블슈팅](https://www.gatellm.io/ko/use-cases/troubleshooting.md)
- [다중 벤더 혼합 모델 스택](https://www.gatellm.io/ko/use-cases/mixed-model-stack.md)
- [Office 내 AI 셀프 호스팅](https://www.gatellm.io/ko/use-cases/self-hosted-office-ai.md)
- [Token 사용량 가시성 및 귀속](https://www.gatellm.io/ko/use-cases/token-ops.md)
- [Token FinOps: AI 비용 배분 및 통제](https://www.gatellm.io/ko/use-cases/token-finops.md)
- [MCP 도구 거버넌스](https://www.gatellm.io/ko/use-cases/mcp-tool-governance.md)
- [모든 모델에 웹 검색 추가](https://www.gatellm.io/ko/use-cases/web-search-grounding.md)
- [다중 키 로테이션 및 대기](https://www.gatellm.io/ko/use-cases/multi-key-pooling.md)
- [연결 클라이언트 접근 제어](https://www.gatellm.io/ko/use-cases/client-admission-control.md)
- [모델 사용 정책 강제](https://www.gatellm.io/ko/use-cases/enforce-model-policy.md)
- [클라이언트에 모델 선택 비노출](https://www.gatellm.io/ko/use-cases/automatic-model-tiering.md)
- [하나의 프로토콜, 어떤 모델이든](https://www.gatellm.io/ko/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 추가 기능](https://www.gatellm.io/ko/office-addin.md)
- [용어집](https://www.gatellm.io/ko/glossary.md)
- [엔터프라이즈 AI 거버넌스](https://www.gatellm.io/ko/enterprise-ai-governance.md)
- [비용 비교 계산 방식](https://www.gatellm.io/ko/methodology.md)
- [모델 카탈로그](https://www.gatellm.io/ko/models.md)
- [SDK 및 프레임워크 통합](https://www.gatellm.io/ko/integrations.md)
- [AI 코딩 에이전트 및 하네스](https://www.gatellm.io/ko/coding-agents.md)
- [보안 및 컴플라이언스](https://www.gatellm.io/ko/security.md)