# Что такое LLM-шлюз? Определение, задачи и выбор - GateLLM

> LLM-шлюз проводит каждое приложение, агента и IDE через одну точку входа: перевод протоколов, хранение ключей, учёт и аудит. Что он делает, когда нужен, когда нет и как его выбрать.

Канонический URL: https://www.gatellm.io/ru/llm-gateway/

## Что такое LLM-шлюз?

Единственная точка входа, которую вызывает каждое приложение, агент и IDE, — и единственное место, где трафик моделей маршрутизируется, измеряется, защищается и аудируется.

Термин используют вольно: поставщики называют тот же слой ИИ-шлюзом, LLM-прокси или LLM-маршрутизатором. Эта страница даёт точное определение, отделяет его от смежных понятий и прямо говорит, когда развёртывать шлюз не нужно.

LLM-шлюз — ИИ-шлюз / LLM-прокси / LLM-маршрутизатор

## Что такое LLM-шлюз?

LLM-шлюз — это сервис между вашими приложениями и поставщиками моделей. Приложения вызывают одну точку входа; шлюз направляет каждый запрос в настроенную модель, переводит протоколы, хранит ключи поставщиков и записывает использование. Он не обучается на вашем трафике, не переписывает промпты и не заменяет модель.

- Это инфраструктура, а не модель: модели остаются у выбранных вами поставщиков.
- Одна точка входа обслуживает чат-приложения, агентов для кода, пакетные задачи, голос в реальном времени и вызовы инструментов MCP.
- Полезная граница: шлюз владеет путём запроса, приложение владеет промптом.

## Что LLM-шлюз делает на самом деле?

Четыре задачи: маршрутизировать каждый запрос к нужной модели, нормализовать протоколы, чтобы любой клиент мог говорить с любым поставщиком, централизовать ключи и контроль доступа и записывать каждый вызов для учёта затрат и аудита. Кэш, бюджеты и проверки содержимого строятся поверх этих четырёх задач.

- Маршрутизация и отказоустойчивость: модель под роль агента, повтор у другого поставщика при 5xx или таймауте, пул ключей вышестоящих сервисов.
- Перевод протоколов: четыре семейства чат-протоколов в обе стороны, клиент сохраняет свой SDK.
- Управление: группы ключей, допуск по заголовкам, квоты на арендатора, SSO и SCIM, журналы аудита на уровне запроса.
- Наблюдаемость: ряды токенов и затрат по ключу, команде и модели с минутной детализацией.

## Зачем компании ставят шлюз перед моделями?

Потому что доступ к моделям перестаёт быть задачей одной команды. Когда модели вызывают несколько команд, поставщиков и агентов, вопросы становятся закупочными: кому какая модель разрешена, сколько тратит каждое подразделение, уходили ли данные за периметр и сколько инженерного времени стоит смена поставщика. Шлюз отвечает на это конфигурацией, а не правкой кода.

- Отнесение затрат: каждый вызов несёт ключ и тег, расходы делятся по командам.
- Путь данных: шлюз работает в вашей сети, запросы идут только в настроенные точки входа.
- Непрерывность: сбои поставщиков и смены моделей обрабатываются на уровне маршрутизации.
- Закупки: самостоятельное размещение с BYOK оставляет ключи и трафик под вашими договорами.

## Когда LLM-шлюз действительно нужен?

Когда верны любые два условия: больше одного поставщика моделей, больше одной команды-потребителя, требование по соответствию или размещению данных, либо расход, который никто не может объяснить. Ниже этой черты прямой вызов API поставщика проще и дешевле: шлюз — это ещё один сервис в эксплуатации.

- Два и более поставщика ради возможностей, стоимости или отказоустойчивости.
- Отчёты о затратах по командам или клиентам запрашиваются регулярно.
- Данные не могут покидать определённую сеть, регион или арендатора.
- Несколько агентов и IDE уже делят один-два API-ключа.

## Когда шлюз — неверный выбор?

Когда у вас одна команда, один поставщик и одно приложение. Шлюз добавляет переход, развёртывание и дежурство. Если месячные расходы предсказуемы, а требования просты, вызывайте поставщика напрямую и вернитесь к вопросу, когда появится второй поставщик, вторая команда или первый запрос на аудит.

- Прототипу или единственному внутреннему инструменту на одном поставщике шлюз не нужен.
- Управление промптами и оценка моделей — другие продукты, шлюз их не заменяет.
- Ни один шлюз не избавляет от чтения договоров с поставщиками.

## Чем шлюз отличается от транзитного сервиса и от прямого использования SDK?

Транзитный сервис пересылает трафик поставщику за вас, часто храня ваш ключ и взимая плату. Шлюз, который вы эксплуатируете сами, оставляет ключи и трафик в вашей сети и добавляет маршрутизацию, учёт и политики. Прямое использование SDK убирает посредника, но логика повторов, протоколов и учёта расходится по всем приложениям.

- Для прототипа транзитный сервис может подойти; цена — промпты и ключи покидают вашу сеть.
- Только SDK дешевле всего, пока не появится второй поставщик — тогда каждому приложению нужен один и тот же связующий код.
- Из трёх вариантов только шлюз может сказать, кто сколько потратил.

| Критерий | Самостоятельный шлюз | Транзит / агрегатор | Только SDK поставщиков |
| --- | --- | --- | --- |
| Где работает | Ваш VPC или собственный ЦОД | Облако поставщика | Внутри каждого приложения |
| Кто хранит ключи | Ваше хранилище секретов; память шлюза при работе | Поставщик транзита | Каждое приложение |
| Охват моделей | Любой настроенный поставщик | Каталог поставщика | Один поставщик на SDK |
| Маршрутизация и резерв | По роли, по ключу, между поставщиками | Ограничено каталогом | Пишете сами |
| Отчёты о затратах | По ключу, группе и модели из собственного реестра | Панель поставщика | Что сами построили |
| Поверхность аудита | Журналы по запросам в вашем владении | Журналы поставщика | Разбросаны по приложениям |

## Шлюз должен быть самостоятельным или SaaS?

Самостоятельным, если ключи, промпты или журналы не могут покидать вашу сеть или закупки не принимают ещё одного субобработчика. SaaS выигрывает, когда нет платформенной команды и хочется нулевой эксплуатации. Решающий вопрос не в моде, а в том, кто может читать ваш трафик.

- Самостоятельное размещение стоит контейнеров, обновлений и runbook; SaaS — подписки и проверки субобработчика.
- Есть гибрид: собственный уровень данных и облачная панель управления — промпты могут остаться внутри, метаданные не обязательно.
- Просите схему потоков данных, а не маркетинговую страницу.

| Критерий | Самостоятельный | SaaS |
| --- | --- | --- |
| Путь данных | Остаётся в вашей сети | Проходит через поставщика |
| Хранение ключей | BYOK, только в памяти шлюза | Управляются или пересылаются поставщиком |
| Стоимость эксплуатации | Вы ведёте контейнеры и обновления | Поставщик эксплуатирует |
| Первый запрос | Один файл Compose | Регистрация |
| Контур соответствия | Ваш DPA и ваши субобработчики | DPA и субобработчики поставщика |
| Домен отказа | Ваша инфраструктура | Страница статуса поставщика |

## Как его выбирать?

Оцените шорт-лист по пяти пунктам: где он работает, к чему привязан счёт, какие протоколы и SDK поддерживает изначально, насколько тонко управляет ключами и арендаторами и останется ли продукт у вендора в следующем году. Затем проверьте то, чего не показывает ни одна матрица: можете ли вы сегодня воспроизвести отчёт о затратах месячной давности?

- Развёртывание: самостоятельно, SaaS или гибрид — и не звонит ли панель управления «домой».
- Привязка счёта: за инстанс, за место, за токен или процент от расходов.
- Протоколы: OpenAI, Anthropic, Gemini и DashScope в обе стороны, с реальной потоковой передачей и паритетом вызовов инструментов.
- Управление: группы ключей, ACL по заголовкам, бюджеты, SSO и SCIM, экспорт аудита.
- Воспроизводимость: те же входные данные, те же цифры спустя месяцы.

## Вопросы об LLM-шлюзах

### LLM-шлюз и ИИ-шлюз — это одно и то же?

На практике да. Оба названия описывают слой между приложениями и моделями. Поставщики различаются охватом: некоторые также проксируют изображения, аудио или эмбеддинги. GateLLM покрывает чат, голос в реальном времени, веб-поиск и вызовы инструментов MCP через одну точку входа.

### Добавляет ли шлюз задержку?

Один сетевой переход внутри вашей сети. GateLLM не добавляет собственного шага вывода; измеренные накладные расходы малы на фоне ответа поставщика, а потоковые токены передаются по мере поступления.

### Видит ли шлюз мои промпты?

Он обрабатывает их в памяти для маршрутизации и, если включено, для маскирования учётных данных и PII на пути запроса. Журналы запросов по умолчанию выключены; при включении сохранённые тела маскируются в каждой точке выхода, а просмотр исходного содержимого доступен только администраторам и аудируется.

### Может ли один шлюз обслуживать несколько команд?

Да. Группы ключей, ACL по группам и квоты на арендатора — это и есть механизм: у каждой команды свои ключи и бюджет, а каталог моделей и правила маршрутизации общие.

## Читать дальше

- [Сравнить AI-шлюзы](https://www.gatellm.io/ru/compare.md)
- [Сценарии использования](https://www.gatellm.io/ru/use-cases.md)
- [Глоссарий](https://www.gatellm.io/ru/glossary.md)
- [Калькулятор стоимости LLM](https://www.gatellm.io/ru/calculator.md)
- [Методика расчёта затрат](https://www.gatellm.io/ru/methodology.md)
- [Управление корпоративным ИИ](https://www.gatellm.io/ru/enterprise-ai-governance.md)

## Связанные страницы
- [Главная](https://www.gatellm.io/ru/index.md)
- [Тарифы](https://www.gatellm.io/ru/pricing.md)
- [Калькулятор стоимости LLM](https://www.gatellm.io/ru/calculator.md)
- [О нас](https://www.gatellm.io/ru/about.md)
- [Заказать демо](https://www.gatellm.io/ru/demo.md)
- [FAQ](https://www.gatellm.io/ru/faq.md)
- [Сравнить AI-шлюзы](https://www.gatellm.io/ru/compare.md)
- [Сравнить LiteLLM](https://www.gatellm.io/ru/compare/litellm.md)
- [Сравнить OpenRouter](https://www.gatellm.io/ru/compare/openrouter.md)
- [Сравнить Alibaba Cloud AI Gateway](https://www.gatellm.io/ru/compare/alibaba-cloud.md)
- [Сравнить Azure API Management](https://www.gatellm.io/ru/compare/azure-apim.md)
- [Сравнить Apigee](https://www.gatellm.io/ru/compare/apigee.md)
- [Сравнить Cloudflare AI Gateway](https://www.gatellm.io/ru/compare/cloudflare.md)
- [Сравнить Kong AI Gateway](https://www.gatellm.io/ru/compare/kong.md)
- [Сравнить Portkey](https://www.gatellm.io/ru/compare/portkey.md)
- [Альтернатива Microsoft 365 Copilot](https://www.gatellm.io/ru/compare/copilot.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ru/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ru/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ru/compare/litellm-vs-portkey.md)
- [Сценарии использования](https://www.gatellm.io/ru/use-cases.md)
- [Снижение затрат на LLM](https://www.gatellm.io/ru/use-cases/reduce-cost.md)
- [Высокая доступность](https://www.gatellm.io/ru/use-cases/high-availability.md)
- [Мультитенантная изоляция](https://www.gatellm.io/ru/use-cases/multi-tenant.md)
- [Комплаенс и аудит](https://www.gatellm.io/ru/use-cases/compliance-audit.md)
- [Диагностика по симптомам](https://www.gatellm.io/ru/use-cases/troubleshooting.md)
- [Смешанный стек моделей от разных поставщиков](https://www.gatellm.io/ru/use-cases/mixed-model-stack.md)
- [ИИ в собственном контуре внутри Office](https://www.gatellm.io/ru/use-cases/self-hosted-office-ai.md)
- [Видимость и атрибуция использования токенов](https://www.gatellm.io/ru/use-cases/token-ops.md)
- [Token FinOps: распределение и контроль затрат на ИИ](https://www.gatellm.io/ru/use-cases/token-finops.md)
- [Управление инструментами MCP](https://www.gatellm.io/ru/use-cases/mcp-tool-governance.md)
- [Веб-поиск для всех моделей](https://www.gatellm.io/ru/use-cases/web-search-grounding.md)
- [Ротация и резерв нескольких ключей](https://www.gatellm.io/ru/use-cases/multi-key-pooling.md)
- [Контроль доступа подключённых клиентов](https://www.gatellm.io/ru/use-cases/client-admission-control.md)
- [Принудительная политика использования моделей](https://www.gatellm.io/ru/use-cases/enforce-model-policy.md)
- [Без выбора модели на клиенте](https://www.gatellm.io/ru/use-cases/automatic-model-tiering.md)
- [Один протокол — любая модель](https://www.gatellm.io/ru/use-cases/one-protocol-any-model.md)
- [Надстройка Office / Microsoft 365](https://www.gatellm.io/ru/office-addin.md)
- [Глоссарий](https://www.gatellm.io/ru/glossary.md)
- [Управление корпоративным ИИ](https://www.gatellm.io/ru/enterprise-ai-governance.md)
- [Методика расчёта затрат](https://www.gatellm.io/ru/methodology.md)
- [Каталог моделей](https://www.gatellm.io/ru/models.md)
- [Интеграции SDK и фреймворков](https://www.gatellm.io/ru/integrations.md)
- [ИИ-агенты для кодирования и harness](https://www.gatellm.io/ru/coding-agents.md)
- [Безопасность и комплаенс](https://www.gatellm.io/ru/security.md)