중급호출자 + 관리자
증상별 문제 해결: z-request-id로 401 / 502 / 끊긴 스트림 추적
401 / 403 / 404 / 502 / 503 / 시간 초과 / 끊긴 스트림 / OOM을 z-request-id로 종단 간 추적하세요 — 더 이상 추측하지 않습니다.
커뮤니티가 실제로 불평하는 것
빈번한 StackOverflow 질문: "프록시를 거치니 스트리밍 응답이 한 덩어리로 바뀌었다", "도구 호출 JSON이 조립되지 않는다", "이 429가 속도 제한인지 할당량 초과인지", "이 502가 게이트웨이 문제인지 벤더 문제인지".
AI 호출 문제 해결은 어렵습니다: 다중 홉 경로, 스트리밍, 일관되지 않은 오류 코드 — 무언가 깨지면 어느 홉인지 알 수 없습니다.
GateLLM은 이렇게 합니다
GateLLM은 각 요청에 z-request-id를 부여해 전체 로그를 꿰뚫습니다. 그래서 증상으로 찾을 수 있습니다: 401 / 403 → 인증 및 Header ACL, 404 → 라우팅, 502 / 503 → 업스트림 상태, 시간 초과 → 속도 제한 및 대양 간, 끊긴 스트림 → 버퍼링 및 SSE, OOM → 구성.
오류 코드가 정규화되고(벤더 간 오류 의미 통합), 스트리밍은 버퍼링 없이 네이티브로 통과하며, Token Ops 로그는 조회하고 내보낼 수 있습니다.
실제로 효과가 있는 5가지 레버
- z-request-id가 전체 로그를 꿰뚫어 한 단계로 id를 찾음
- 증상별 분류: 401 / 403 / 404 / 502 / 503 / 시간 초과 / 끊긴 스트림 / OOM
- 오류 코드 정규화: 벤더 간 오류 의미를 하나의 어휘로 통합
- 네이티브 스트림 통과, 버퍼링 없음, SSE나 도구 호출을 깨뜨리지 않음
- Token Ops 로그를 조회하고 내보내 문제 해결과 정산에 연결