Глоссарий

Унифицирует семь точек межпроизводительского связывания (вызов инструментов, структурированный вывод, кеш промптов, токены рассуждения, мультимодальность, биллинг, семантика ошибок) за одним интерфейсом. Это предпосылка смешивания моделей разных производителей — иначе у каждой модели своя конвенция вызова, и каждое переключение требует склеивающего кода.

Маршрутизация разных фаз запроса к разным моделям на шлюзе — сопоставление моделей по идентичности плюс переключение по режиму планирования. Канонический паттерн: закрытая модель верхнего уровня (например, Claude Opus) планирует, а открытые SOTA-модели (GLM / Qwen / DeepSeek) исполняют — ~14% стоимости при ~97% возможностей. Настраивается в консоли (правила + скрипты), без изменений клиентского кода.

Паттерн слоя оркестрации — один и тот же промпт прогоняется через несколько моделей параллельно, а результаты объединяются. Разветвление, дедупликация и аннотация уверенности живут в вашем слое оркестрации (например, GitHub Actions); шлюз обеспечивает межпротокольное взаимодействие и единый учёт, поэтому подключается любая модель, а весь трафик остаётся под централизованным управлением. Подходит для ответственных вызовов, таких как код-ревью. Поставляемая разновидность этого паттерна — мультимодельное код-ревью (см. раздел об оркестрации).

Операционный слой использования для LLM API — наблюдаемость, допуск клиентов, журналы аудита и программное управление. Он отвечает на вопрос «кто что использует, сколько и может ли войти»; Token FinOps (его пара) отвечает на вопрос «как токены превращаются в деньги, кому это выставляется и что это останавливает». GateLLM интегрирует их в шлюз — никогда с наценкой на токены.

Финансовый слой контроля, который применяет к расходам на токены прозрачность, распределение и управление FinOps: собственный прайс-лист превращает токены в деньги, теги относят расходы к нужному центру затрат, а суточные / месячные квоты стоимости превращают бюджеты в шлюзы, блокирующие запросы. Дополняет Token Ops — тот видит использование, этот видит деньги.

Вы приносите собственные API-ключи производителей моделей. Ключи живут только в памяти шлюза — никогда не сохраняются и не передаются; запросы проходят через шлюз напрямую к API производителей. GateLLM не берёт долю.