엔터프라이즈 AI 거버넌스:CIO가 묻는 네 가지 질문
AI 지출에 대한 경영 검토는 결국 네 가지 질문으로 모입니다. 이 페이지의 모든 답은 검증 가능한, 이미 출시된 기능을 가리킵니다. 로드맵이 아닙니다.
모델 접근 권한을 주는 것은 쉽고 통제하는 것은 어렵습니다. 아래 네 질문이 AI 프로그램이 첫 감사를 통과할지를 결정합니다.
누가 어떤 모델을 얼마나 쓰고 있나?
모든 요청에 키, 키 그룹, 모델이 붙습니다. GateLLM은 input, output, 캐시 적중 토큰을 요청 단위·분 단위로 기록하고 키·그룹·모델별 일/월 시계열을 제공합니다. 어떤 클라이언트가 접속할 수 있는지는 입장 제어가 요청 헤더로 결정합니다.
- •사용량과 비용을 사람, 키, 키 그룹, 모델별로 나눌 수 있습니다. 로그를 재구성할 필요가 없습니다.
- •클라이언트 입장 제어는 User-Agent로 전역·그룹·키 세 범위에서 통제합니다.
- •요청 단위 기록으로 호출 하나를 끝에서 끝까지 추적할 수 있습니다.
비용은 얼마이며 누가 부담하나?
비용은 업체 정가가 아니라 자사가 보유한 요율표로 계량됩니다. 협상한 가격을 고정하고 태그로 호출을 배분하며 기간별 보고서를 내보내고, 일/월 비용 쿼터를 설정해 예산이 소진되면 요청을 거부합니다. GateLLM은 공급자 가격 위에 토큰 마크업을 붙이지 않습니다.
- •기간별 요율표 스냅숏으로 몇 달 전 보고서도 재현됩니다.
- •태그 기반 배분으로 AI 지출을 배분 가능한 원장으로 만듭니다.
- •일/월 쿼터는 한도 도달 시 429를 반환하므로 폭주하는 에이전트가 정한 금액에서 멈춥니다.
데이터가 외부로 나갔는지 증명할 수 있나?
게이트웨이가 고객 측에서 실행되므로 프롬프트와 응답 트래픽이 당사를 거치지 않습니다. BYOK에서 공급자 키는 게이트웨이 메모리에만 존재합니다. 자격 증명과 PII는 요청 경로에서 탐지되어 범위별로 기록·마스킹·차단할 수 있고, 저장되는 로그 본문은 모든 출구에서 마스킹됩니다.
- •요청은 설정한 모델 엔드포인트로만 갑니다. 자체 호스팅 vLLM이나 Ollama 업스트림도 포함합니다.
- •요청 로그는 기본적으로 꺼져 있고, 원문 열람은 관리자만 가능하며 감사에 남습니다.
- •OIDC 또는 SAML SSO와 SCIM 프로비저닝, 테넌트별 키와 쿼터를 지원합니다.
공급자가 멈추거나 모델을 바꾸면 코드를 얼마나 고쳐야 하나?
공급자가 5xx를 반환하거나 타임아웃하면 애플리케이션 코드를 건드리지 않고 다른 공급자로 재시도합니다. 네 가지 채팅 프로토콜 계열을 양방향 변환하므로 클라이언트는 자사 SDK를 그대로 씁니다. 모델 식별은 액세스 키, 헤더, 포괄 규칙으로 게이트웨이에서 매핑됩니다.
- •5xx 또는 타임아웃 시 공급자 간 폴백. 클라이언트 변경이 없습니다.
- •인그레스 허용 목록과 포괄 매핑으로 백엔드가 바뀌어도 모델 이름은 유지됩니다.
- •역량 메타데이터는 레지스트리에서 읽으므로 모델 변화에 릴리스가 필요 없습니다.