Сценарии использования AI-шлюза
Организовано по принципу «чего вы хотите достичь» — возможности шлюза складываются в практические планы, каждый со ссылкой на полное пошаговое руководство в документации.
Эти сценарии взяты из того, что разработчики и архитекторы действительно спрашивают на Reddit, StackOverflow и Zhihu, — стоимость, высокая доступность, мультитенантность, соответствие требованиям/аудит и диагностика. Каждый связывает боли сообщества с возможностями GateLLM и ведёт к полному руководству и справочнику конфигурации в документации.
Снизить стоимость LLM
Проблема: Приходит месячный счёт, и только тогда вы узнаёте, что сожгли $10 тыс.
Решение: BYOK без наценки на токены + Композиция + атрибуция затрат в реальном времени
Высокая доступность
Проблема: Один сбой провайдера роняет всё приложение
Решение: Отказоустойчивость на нескольких узлах + fallback между провайдерами + общее состояние между экземплярами
Изоляция мультитенантности
Проблема: Один общий API-ключ, и непонятно, кто сколько потратил
Решение: Группы ключей + Header ACL + ограничение частоты и биллинг для каждого тенанта
Соответствие требованиям и аудит
Проблема: Данные не могут покидать страну, PII нужно редактировать, нужны журналы аудита
Решение: Self-hosted + обнаружение секретов на пути запроса + редактирование логов на выходе + хранение
Диагностика по симптому
Проблема: Поток сломался / 429 / 502, и непонятно, где застряло
Решение: Сквозная трассировка по z-request-id + нормализованные коды ошибок
Смешанный стек моделей разных производителей
Проблема: Claude Code на Opus от начала до конца слишком дорог; переход на Sonnet ухудшает планирование
Решение: Закрепите топовые модели за ролями агента между производителями, без изменений на клиенте
AI в Office, данные остаются внутри
Проблема: Copilot проводит договоры и финансовые модели через облако; чувствительные файлы не могут покидать сеть
Решение: Self-hosted надстройка Office к вашему собственному шлюзу, без зависимости от SaaS
Видимость и атрибуция расхода токенов
Проблема: Один ключ делят десяток агентов — остаётся только догадываться, кто сжигает деньги
Решение: Разбивка расхода и стоимости по человеку / ключу / группе ключей × модели
Превратить расходы на AI в распределяемый реестр
Проблема: Каталожная цена производителя — не ваша реальная стоимость, и её нельзя выставить командам
Решение: Собственный прайс-лист + распределение по тегам + суточные/месячные квоты стоимости
Управление инструментами MCP
Проблема: Агенты подключены к груде MCP-серверов, и нет контроля над тем, кто какой инструмент может вызывать
Решение: Единый endpoint /mcp + ACL на уровне инструментов + аудит вызовов
Веб-поиск для каждой модели
Проблема: У открытых моделей нет поиска; поднимать RAG только ради этого слишком тяжело
Решение: Инъекция поиска на шлюзе + нативные блоки поиска + без оплаты
Ротация нескольких ключей и резерв
Проблема: Один ключ упирается в лимит 429, и бизнес просто ждёт
Решение: Несколько ключей с весами + липкая привязка + резервные ключи
Контроль допуска подключённых клиентов
Проблема: Любой утёкший ключ позволяет любому клиенту — скрипту, чужому SDK, скраперу — обращаться к вашим моделям
Решение: Правила Header ACL: разрешение/запрет по заголовку запроса в областях global / group / key
Заставить агентов использовать нужную модель
Проблема: Разработчик переключает Claude Code на Opus, чтобы суммаризировать changelog, и никто не может это остановить
Решение: Белый список на входе + сквозное сопоставление моделей + разделение скриптом по режиму планирования
Никакого выбора модели на клиенте
Проблема: У всех в настройках разные модели, поэтому один и тот же промпт даёт разный результат
Решение: Одно имя модели на клиенте; шлюз автоматически делит на планирование и исполнение
Один протокол — любая модель
Проблема: Каждый новый провайдер — это ещё один SDK, схема аутентификации, формат стриминга и грамматика вызова инструментов
Решение: Четыре семейства чат-протоколов переводят любой-в-любой; клиент сохраняет уже используемый SDK