# 제공자별 다중 키: 가중 분배, 고정 바인딩, 대기 키 인계

> 업스트림당 여러 API 키를 지원하는 AI 게이트웨이: 결정적 가중 해시, 호출자별 고정 바인딩, weight=0 대기 인계, 관찰 가능한 바인딩 — 업스트림 간 로드 밸런싱과 직교적으로 쌓입니다.

표준 링크: https://www.gatellm.io/ko/use-cases/multi-key-pooling/

하나의 업스트림에 여러 API 키를 붙입니다: 가중 분배, 호출자별 고정 바인딩, weight=0 대기 키를 최후 방어선으로 — 더 이상 429에 하염없이 기다리지 않습니다.

## 커뮤니티가 실제로 불평하는 것
Reddit 단골: "OpenAI 키 하나의 RPM으로는 부족한데 여러 계정을 어떻게 돌리나", "키가 429에 걸리면 비즈니스가 그냥 기다린다", "키를 바꾸면 세션 캐시 친화성이 전부 사라진다".
직접 순환을 구현하면 고정성, 가중치, 대기, 실패 퇴출을 스스로 처리해야 합니다 — 실제 엔지니어링 노력이 듭니다.

## GateLLM은 이렇게 합니다
GateLLM 업스트림 폼은 여러 API 키를 받습니다: 결정적 가중 해시(FNV-1a)가 각 호출자를 같은 업스트림 키에 고정 바인딩하고(TTL 내 안정적이며, 키를 제자리에서 교체해도 고정성이 깨지지 않음), 가중치가 분배 비율을 정합니다. 키가 실패하면 게이트웨이가 그 업스트림 안에서 아직 시도하지 않은 다음 키로 재시도하며 원래 고정 바인딩을 덮어쓰지 않습니다.
weight=0인 키는 대기 상태로, weight>0인 모든 키가 실패한 뒤에만 활성화됩니다. 바인딩 상태(binding / predicted / stale)는 콘솔에서 행 단위로 확인할 수 있습니다.
이 메커니즘은 로드 밸런서와 직교적으로 쌓입니다: Smooth WRR이 엔트리 간에 업스트림을 고르고, 고정 선택이 그 안에서 키를 고릅니다.

## 실제로 효과가 있는 5가지 레버
- 가중 다중 키: 결정적 가중 해시가 호출자를 분배하고, 가중치는 비율
- 고정 바인딩: 각 호출자가 TTL 내 같은 업스트림 키에 머묾 — 캐시 친화성
- 대기 키: weight=0 키는 정상 분배에서 빠지고 모든 활성 키가 실패한 뒤에만 활성화
- 관찰 가능한 바인딩: binding / predicted / stale 상태를 행 단위로, 3초마다 자동 새로고침
- LB와 직교: 업스트림 내부 키 선택 + 업스트림 간 Smooth WRR이 두 계층으로 쌓임

## FAQ
### 키를 순환하면 프롬프트 캐시 친화성을 잃나요?
고정 바인딩이 바로 그 때문에 있습니다: 각 호출자가 TTL 내 같은 업스트림 키에 묶여 같은 벤더 계정의 캐시에 적중합니다. 키를 제자리에서 교체해도 고정성은 깨지지 않으며, 키를 추가 / 제거 / 재정렬하거나 가중치를 바꿀 때만 재선택이 일어납니다.

### 대기 키는 언제 효과가 있나요?
weight=0 키는 정상 분배에서 빠지고 weight>0인 모든 키를 시도해 실패한 뒤에만 활성화되며, 바인딩을 갖지 않습니다. 비행 중 키가 실패하면 게이트웨이가 같은 업스트림 안에서 아직 시도하지 않은 다음 키로 재시도하되 원래 고정 바인딩을 덮어쓰지 않습니다 — 그 호출자의 이후 요청은 여전히 원래 바인딩된 키에서 시작합니다.

- [전체 레퍼런스: 업스트림 및 모델 필드(문서)](https://docs.gatellm.io/en/reference/upstreams-models-fields)

## 관련 페이지
- [홈](https://www.gatellm.io/ko/index.md)
- [요금](https://www.gatellm.io/ko/pricing.md)
- [비용 계산기](https://www.gatellm.io/ko/calculator.md)
- [소개](https://www.gatellm.io/ko/about.md)
- [데모 예약](https://www.gatellm.io/ko/demo.md)
- [FAQ](https://www.gatellm.io/ko/faq.md)
- [AI 게이트웨이 비교](https://www.gatellm.io/ko/compare.md)
- [LiteLLM 비교](https://www.gatellm.io/ko/compare/litellm.md)
- [OpenRouter 비교](https://www.gatellm.io/ko/compare/openrouter.md)
- [Alibaba Cloud AI Gateway 비교](https://www.gatellm.io/ko/compare/alibaba-cloud.md)
- [Azure API Management 비교](https://www.gatellm.io/ko/compare/azure-apim.md)
- [Apigee 비교](https://www.gatellm.io/ko/compare/apigee.md)
- [Cloudflare AI Gateway 비교](https://www.gatellm.io/ko/compare/cloudflare.md)
- [Kong AI Gateway 비교](https://www.gatellm.io/ko/compare/kong.md)
- [Portkey 비교](https://www.gatellm.io/ko/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ko/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ko/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ko/compare/litellm-vs-portkey.md)
- [사용 사례](https://www.gatellm.io/ko/use-cases.md)
- [LLM 비용 절감](https://www.gatellm.io/ko/use-cases/reduce-cost.md)
- [고가용성](https://www.gatellm.io/ko/use-cases/high-availability.md)
- [멀티테넌트 격리](https://www.gatellm.io/ko/use-cases/multi-tenant.md)
- [컴플라이언스 및 감사](https://www.gatellm.io/ko/use-cases/compliance-audit.md)
- [증상별 트러블슈팅](https://www.gatellm.io/ko/use-cases/troubleshooting.md)
- [다중 벤더 혼합 모델 스택](https://www.gatellm.io/ko/use-cases/mixed-model-stack.md)
- [Office 내 AI 셀프 호스팅](https://www.gatellm.io/ko/use-cases/self-hosted-office-ai.md)
- [Token 사용량 가시성 및 귀속](https://www.gatellm.io/ko/use-cases/token-ops.md)
- [Token FinOps: AI 비용 배분 및 통제](https://www.gatellm.io/ko/use-cases/token-finops.md)
- [MCP 도구 거버넌스](https://www.gatellm.io/ko/use-cases/mcp-tool-governance.md)
- [모든 모델에 웹 검색 추가](https://www.gatellm.io/ko/use-cases/web-search-grounding.md)
- [연결 클라이언트 접근 제어](https://www.gatellm.io/ko/use-cases/client-admission-control.md)
- [모델 사용 정책 강제](https://www.gatellm.io/ko/use-cases/enforce-model-policy.md)
- [클라이언트에 모델 선택 비노출](https://www.gatellm.io/ko/use-cases/automatic-model-tiering.md)
- [하나의 프로토콜, 어떤 모델이든](https://www.gatellm.io/ko/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 추가 기능](https://www.gatellm.io/ko/office-addin.md)
- [용어집](https://www.gatellm.io/ko/glossary.md)
- [모델 카탈로그](https://www.gatellm.io/ko/models.md)
- [SDK 및 프레임워크 통합](https://www.gatellm.io/ko/integrations.md)
- [AI 코딩 에이전트 및 하네스](https://www.gatellm.io/ko/coding-agents.md)
- [보안 및 컴플라이언스](https://www.gatellm.io/ko/security.md)