Диагностика по симптому: z-request-id указывает на 401 / 502 / сломанные потоки
Проследите 401 / 403 / 404 / 502 / 503 / таймаут / разрыв потока / OOM по z-request-id от начала до конца — больше никаких догадок.
На что на самом деле жалуется сообщество
Частые вопросы на StackOverflow: «потоковый ответ после прокси превратился в один блок», «JSON вызова инструментов не собирается», «это 429 из-за лимита частоты или превышения квоты», «этот 502 — шлюз или производитель».
Диагностика вызовов AI сложна: многошаговые пути, потоковая передача, несогласованные коды ошибок — когда что-то ломается, непонятно, на каком шаге.
Как это делает GateLLM
GateLLM присваивает каждому запросу z-request-id, который проходит через весь лог, поэтому вы находите по симптому: 401 / 403 → аутентификация и Header ACL; 404 → маршрутизация; 502 / 503 → состояние upstream; таймаут → ограничение частоты и трансконтинентальные задержки; разрыв потока → буферизация и SSE; OOM → конфигурация.
Коды ошибок нормализованы (семантика ошибок разных производителей унифицирована), потоковая передача проходит нативно без буферизации, а логи Token Ops доступны для запросов и экспорта.
5 рычагов, которые действительно работают
- z-request-id проходит через весь лог — найдите по ID за один шаг
- Триаж по симптому: 401 / 403 / 404 / 502 / 503 / таймаут / разрыв потока / OOM
- Нормализация кодов ошибок: семантика ошибок разных производителей сведена к одному словарю
- Нативный проброс потока, без буферизации, без ломки SSE или вызова инструментов
- Логи Token Ops доступны для запросов и экспорта, подключены к диагностике и сверке