# AI 호출을 고가용성으로: 다중 노드 페일오버 및 제공자 간 DR

> AI 게이트웨이 HA: 다중 노드 페일오버, 제공자 간 폴백(OpenAI 503 자동 전환), 인스턴스 간 공유 상태, 카나리 롤아웃. 자체 호스팅, SaaS 단일 장애점 없음.

표준 링크: https://www.gatellm.io/ko/use-cases/high-availability/

다중 노드 페일오버를 위한 로드 밸런서, 제공자 수준 재해 복구, 인스턴스 간 공유 상태, 카나리 롤아웃 — 더 이상 단일 제공자의 장애에 인질이 되지 않습니다.

## 커뮤니티가 실제로 불평하는 것
Reddit에서 흔한 말: "OpenAI가 503을 한 번 내면 제품 전체가 죽는다." 단일 제공자 직접 호출은 단일 장애점이며, 대양 간 시간 초과, 429 속도 제한 대기열, 스트리밍 중 인스턴스 OOM까지 더해집니다.
코드 변경 없이 밀리초 단위 페일오버가 필요합니다.

## GateLLM은 이렇게 합니다
GateLLM은 제공자 간 폴백을 지원합니다: 기본 제공자가 5xx를 반환하거나 시간 초과하면 비즈니스 코드 변경 없이 트래픽이 백업 제공자로 이동합니다. 로드 밸런서는 인스턴스 간 공유 상태로 다중 노드 페일오버와 카나리 롤아웃을 수행합니다.
VPC에 자체 호스팅되며, SaaS 게이트웨이가 그 자체로 단일 장애점이 되지 않습니다.

## 실제로 효과가 있는 5가지 레버
- 로드 밸런서: 다중 노드 페일오버 및 가중 라우팅
- 제공자 간 폴백: 기본 5xx / 시간 초과 시 백업 제공자로 자동 전환
- 제공자 수준 재해 복구
- 카나리 롤아웃: 새 버전이 트래픽 비율로 확장되고 오류 시 자동 롤백
- 인스턴스 간 공유 상태로 페일오버와 카나리 롤아웃이 일관되게 유지

## FAQ
### AI 게이트웨이는 제공자 장애(예: OpenAI 503)를 어떻게 처리하나요?
제공자 간 폴백: 기본 제공자가 5xx를 반환하거나 시간 초과하면 코드 변경 없이 트래픽이 백업 제공자로 이동합니다. 로드 밸런서가 다중 노드 페일오버를 수행하며, 자체 호스팅은 SaaS 단일 장애점을 제거합니다.

### 여러 인스턴스가 어떻게 카나리 롤아웃을 하나요?
인스턴스가 상태를 공유하며, 새 버전이 트래픽 비율로 확장되고 오류 시 자동 롤백되어 한 번에 전면 배포하는 함정을 피합니다.

- [전체 방법: 고가용성(문서)](https://docs.gatellm.io/en/usecases/high-availability)

## 관련 페이지
- [홈](https://www.gatellm.io/ko/index.md)
- [요금](https://www.gatellm.io/ko/pricing.md)
- [비용 계산기](https://www.gatellm.io/ko/calculator.md)
- [소개](https://www.gatellm.io/ko/about.md)
- [데모 예약](https://www.gatellm.io/ko/demo.md)
- [FAQ](https://www.gatellm.io/ko/faq.md)
- [AI 게이트웨이 비교](https://www.gatellm.io/ko/compare.md)
- [LiteLLM 비교](https://www.gatellm.io/ko/compare/litellm.md)
- [OpenRouter 비교](https://www.gatellm.io/ko/compare/openrouter.md)
- [Alibaba Cloud AI Gateway 비교](https://www.gatellm.io/ko/compare/alibaba-cloud.md)
- [Azure API Management 비교](https://www.gatellm.io/ko/compare/azure-apim.md)
- [Apigee 비교](https://www.gatellm.io/ko/compare/apigee.md)
- [Cloudflare AI Gateway 비교](https://www.gatellm.io/ko/compare/cloudflare.md)
- [Kong AI Gateway 비교](https://www.gatellm.io/ko/compare/kong.md)
- [Portkey 비교](https://www.gatellm.io/ko/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ko/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ko/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ko/compare/litellm-vs-portkey.md)
- [사용 사례](https://www.gatellm.io/ko/use-cases.md)
- [LLM 비용 절감](https://www.gatellm.io/ko/use-cases/reduce-cost.md)
- [멀티테넌트 격리](https://www.gatellm.io/ko/use-cases/multi-tenant.md)
- [컴플라이언스 및 감사](https://www.gatellm.io/ko/use-cases/compliance-audit.md)
- [증상별 트러블슈팅](https://www.gatellm.io/ko/use-cases/troubleshooting.md)
- [다중 벤더 혼합 모델 스택](https://www.gatellm.io/ko/use-cases/mixed-model-stack.md)
- [Office 내 AI 셀프 호스팅](https://www.gatellm.io/ko/use-cases/self-hosted-office-ai.md)
- [Token 사용량 가시성 및 귀속](https://www.gatellm.io/ko/use-cases/token-ops.md)
- [Token FinOps: AI 비용 배분 및 통제](https://www.gatellm.io/ko/use-cases/token-finops.md)
- [MCP 도구 거버넌스](https://www.gatellm.io/ko/use-cases/mcp-tool-governance.md)
- [모든 모델에 웹 검색 추가](https://www.gatellm.io/ko/use-cases/web-search-grounding.md)
- [다중 키 로테이션 및 대기](https://www.gatellm.io/ko/use-cases/multi-key-pooling.md)
- [연결 클라이언트 접근 제어](https://www.gatellm.io/ko/use-cases/client-admission-control.md)
- [모델 사용 정책 강제](https://www.gatellm.io/ko/use-cases/enforce-model-policy.md)
- [클라이언트에 모델 선택 비노출](https://www.gatellm.io/ko/use-cases/automatic-model-tiering.md)
- [하나의 프로토콜, 어떤 모델이든](https://www.gatellm.io/ko/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 추가 기능](https://www.gatellm.io/ko/office-addin.md)
- [용어집](https://www.gatellm.io/ko/glossary.md)
- [모델 카탈로그](https://www.gatellm.io/ko/models.md)
- [SDK 및 프레임워크 통합](https://www.gatellm.io/ko/integrations.md)
- [AI 코딩 에이전트 및 하네스](https://www.gatellm.io/ko/coding-agents.md)
- [보안 및 컴플라이언스](https://www.gatellm.io/ko/security.md)