고급관리자
어떤 클라이언트가 모델에 접근할 수 있는지 결정하세요
User-Agent, 오리진 또는 모든 헤더로 허용/거부하는 요청 헤더 액세스 규칙 — 전역, 키 그룹 단위, 또는 단일 키 단위로 범위를 정합니다.
커뮤니티가 실제로 불평하는 것
"키가 유출되면 가진 사람 누구나 우리 할당량을 태울 수 있다", "회사 전체의 코딩 에이전트는 허용하되 순수 curl과 스크래퍼는 막고 싶다", "벤더 콘솔에는 IP 허용 목록이 있지만 우리 트래픽은 동적이고 프록시 뒤에 있어 맞지 않는다".
강제는 요청이 도착하는 곳 — 게이트웨이 — 에서 일어나야 하며, 개발자가 그냥 꺼 버릴 수 있는 클라이언트 측 설정이어서는 안 됩니다.
GateLLM은 이렇게 합니다
GateLLM은 모든 요청에서 HTTP 헤더를 기준으로 승인 규칙을 평가합니다: 여섯 가지 일치 유형(정확 / 접두사 / 정규식 / 존재 / 부재 / 임의)과 세 가지 범위(전역 / 키 그룹 / 키)를 가지며, sort_order 순으로 첫 일치 우선입니다.
"승인된 클라이언트만"을 원하면 허용 목록 모드를 사용합니다: 그룹의 기본 동작을 거부로 두고 클라이언트 서명과 일치하는 허용 규칙 하나를 추가하세요 — 나머지는 모델에 도달하기 전에 거부됩니다.
실제로 효과가 있는 5가지 레버
- 6가지 일치 유형: 정확 / 접두사 / 정규식 / 존재 / 부재 / 임의 — 규칙 하나로 정규식 대안을 통해 "A 또는 B 또는 C"를 표현
- 3가지 범위: 전역, 키 그룹별, 키별 — 첫 일치 우선과 동일 순서의 전역 우선순위
- 허용 목록 모드: 기본 거부 + 명시적 허용 하나 — 새로운 미지 클라이언트는 기본적으로 거부
- 규칙이 모델 목록 경로(/v1/models)도 커버해 거부된 클라이언트는 종단 간 차단
- ReDoS 안전 선형 시간 정규식 엔진 — 병리적 패턴은 요청 시점이 아니라 로드 시점에 거부