고급관리자
규정 준수 및 감사: 자체 호스팅, 마스킹, 로깅, 보존
요청 및 응답 로깅(기본 꺼짐), 요청 경로의 결정적 시크릿 및 PII 탐지, 모든 이그레스 표면에서 마스킹되는 로그 본문, 로그인 및 권한 감사, 보존과 삭제 — 데이터는 네트워크를 벗어나지 않고, SOC 2 통제 정렬(인증 준비 중), GDPR 대응.
커뮤니티가 실제로 불평하는 것
Zhihu와 Reddit: "금융 / 의료 / 정부 데이터는 국외로 나갈 수 없다", "LLM을 호출하려면 알고리즘 등록이 필요하다", "PII는 어떻게 마스킹하나", "감사 로그는 어떻게 보관하나".
SaaS 게이트웨이는 자체 서버로 요청을 라우팅하므로 규정 준수 감사가 어렵고, 릴레이는 데이터 유출과 재판매 위험을 더합니다.
GateLLM은 이렇게 합니다
GateLLM은 네트워크 내부에 완전히 배포됩니다 — 데이터가 나가지 않아 데이터 반출 규정을 충족합니다. 요청 및 응답 로그는 기본 꺼짐이며 감사를 위해 내보낼 수 있고, 결정적 시크릿 및 PII 탐지가 요청 경로에서 실행되어 범위별로 로그, 마스킹(복원 가능), 차단을 선택할 수 있습니다. 저장된 로그 본문은 모든 이그레스 표면에서 마스킹되고 원본 열람은 관리자 전용이며 감사됩니다. 로그인 및 권한 감사(OIDC / SAML 2.0을 통한 SSO), 보존과 삭제를 구성할 수 있습니다.
BYOK 키는 메모리에만 있고 디스크에 남지 않습니다. GDPR 대응, SOC 2 Type II / ISO 27001 통제 정렬(인증 준비 중).
실제로 효과가 있는 5가지 레버
- 요청 및 응답 로깅(기본 꺼짐), 감사 시스템으로 내보내기 가능, 본문은 모든 이그레스 표면에서 마스킹
- 요청 경로의 결정적 시크릿 및 PII 탐지 — 범위별로 로그, 마스킹(복원 가능), 차단
- 로그인 및 권한 감사(OIDC / SAML 2.0을 통한 SSO)
- 구성 가능한 보존 및 삭제 정책
- 완전 자체 호스팅: 데이터가 네트워크를 벗어나지 않고, 키는 메모리에만