FAQ об AI-шлюзе

Только если шлюз лицензируется за экземпляр, а не наценивает токены. GateLLM лицензируется за экземпляр 2 ГБ (Pro $400/мес) — никогда не наценка на токены, без платформенных и платёжных надбавок; вы платите провайдерам по стандартным тарифам. Реальная экономия идёт от Композиции: модель верхнего уровня (Claude Opus) планирует, а открытые SOTA-модели (GLM / Qwen / DeepSeek) исполняют — примерно за 1/7 стоимости. SaaS-агрегаторы обычно добавляют ~5–8% платформенных и платёжных сборов: существенная скрытая стоимость при больших объёмах.

Честный критерий: один провайдер, одна команда, нет требований соответствия, управляемые месячные расходы — вызывать API напрямую проще, и шлюз вам не нужен. Шлюз начинает окупаться, когда нужны отказоустойчивость между провайдерами, атрибуция затрат по командам, соответствие требованиям / локальность данных или видимость выходящих из-под контроля расходов в реальном времени. Не внедряйте его, пока он действительно не понадобился.

Прямая работа с одним провайдером — единая точка отказа: один сбой роняет всё приложение. GateLLM поддерживает fallback между провайдерами: когда основной возвращает 5xx или истекает таймаут, трафик переходит на резервного провайдера без изменений кода. Отдельно для более ответственных вызовов можно запустить мультимодельное код-ревью в слое оркестрации (например, параллельное ревью в GitHub Actions) — шлюз обеспечивает межпротокольное взаимодействие, чтобы несколько моделей проверили один и тот же запрос.

SaaS-шлюз добавляет лишний переход за пределы вашей сети. GateLLM размещён self-hosted внутри вашего VPC; дополнительный переход к API производителя — это локальное межпроцессное взаимодействие: накладные расходы менее миллисекунды, влияние на время до первого токена при потоковой передаче пренебрежимо.

Да. Композиция GateLLM поддерживает политику с учётом режима: администраторы закрепляют уровни plan / execute — закрытые модели верхнего уровня для планирования, открытые SOTA для исполнения — обеспечивая ~97% возможностей при ~14% стоимости. Можно также классифицировать по числу токенов или сложности для динамической маршрутизации, не допуская перевода всего трафика на самую дорогую модель.

Плохой прокси ломает: буферизует поток, разрывает JSON-фрагменты tool_calls или спотыкается о различия форматов вызова инструментов между производителями. GateLLM пропускает потоки нативно без буферизации и выполняет нормализацию возможностей — унифицирует вызов инструментов, структурированный вывод, кеш промптов, токены рассуждения и ещё три точки межпроизводительского связывания за одним интерфейсом, поэтому смешивание моделей разных производителей никогда не ломается из-за расхождений форматов.

Релей пересылает ваши запросы через свои серверы — ваши промпты, ключи и ответы ему доступны, с реальными рисками подмены модели, деградации или исчезновения оператора (исследование CISPA обнаружило сбои проверки идентичности в 45,83% тестов отпечатков моделей, arxiv.org/abs/2603.01919). GateLLM работает по BYOK и self-hosted: ключи живут только в памяти шлюза, запросы идут напрямую к API производителей, третьей стороны в пути нет — подменять, деградировать или исчезать негде.

Да. GateLLM полностью развёртывается внутри вашей сети — данные никогда не покидают её, что удовлетворяет требованиям экспорта данных. Он нативно говорит на протоколе DashScope для доступа к местным моделям (Tongyi / Zhipu / DeepSeek / Doubao). Трафик к закрытым моделям сокращается за счёт Композиции, уменьшая трансграничные вызовы.

Месячные счета приходят слишком поздно. Token Ops в GateLLM атрибутирует стоимость на каждый запрос — по команде / агенту / модели / клиенту — с видимостью скорости расхода в реальном времени и лимитами бюджета на агента, которые действительно останавливают вызовы. Безопасный для сбоев биллинг (предварительное списание → расчёт → возврат) остаётся корректным при падении процесса; Management API экспортирует данные для сверки в вашу внутреннюю систему биллинга.

С SaaS-агрегатором остаётся только верить его слову — нет криптографической проверки, что он не подменяет модель на меньшую, чтобы оставить маржу (сам OpenRouter не проверяет идентичность модели). GateLLM работает по BYOK и self-hosted: вы используете свои ключи, и запросы идут от вашего шлюза напрямую к API-эндпоинту производителя — идентичность модели гарантирует сам API производителя, заменяемого звена между ними нет.

Да. Направьте base_url вашего OpenAI SDK на GateLLM (с /v1) — других изменений в коде нет — и вызывайте каждую модель через единый интерфейс. Миграцию завершает одна замена base_url: без расхождений функций, без прокси-прослоек — ваш клиент OpenAI напрямую работает с эквивалентным производителю единым endpoint.

Нет — один шлюз обслуживает все три. Направьте base_url OpenAI SDK на шлюз (с /v1); Anthropic SDK — на корень шлюза (SDK сам добавляет /v1/messages, ключ в заголовке x-api-key); Google Gemini SDK подключается напрямую (ключ в заголовке x-goog-api-key). Шлюз двунаправленно транслирует между четырьмя входными + четырьмя выходными протоколами (OpenAI / Anthropic / Gemini / DashScope) — протоколы клиента и upstream могут различаться: вызывайте Claude из OpenAI SDK, GPT из Anthropic SDK или DeepSeek из Gemini SDK без изменений кода; сторонние клиенты вроде Cherry Studio используют вход, совместимый с OpenAI. Матрица совместимости протоколов — в документации docs.gatellm.io, раздел reference/protocol-matrix.

Да. Bedrock подключается как upstream (протокол aws_converse / aws_invoke, API-ключ Bedrock + региональный runtime endpoint, поддерживаются inference profiles); клиенты продолжают использовать SDK OpenAI / Anthropic / Gemini, а шлюз транслирует протокол. Claude / GLM на Bedrock и модели напрямую от производителей могут смешиваться в одной маршрутизации / балансировщике под единой плоскостью управления.

Да. В шлюз встроен MCP-прокси: он агрегирует несколько внешних MCP-серверов инструментов (streamable HTTP / SSE) за одной конечной точкой /mcp, так что Claude Desktop или любой MCP-клиент вызывает их все одним ключом шлюза. Доступом управляют ACL инструментов на группу ключей и бюджеты контекста, а при росте списка инструментов работает встроенный поиск BM25. Допуск инструментов, ограничение частоты и аудит используют ту же плоскость управления, что и трафик моделей.

Да. Шлюз соединяет WebSocket-сессии по /v1/realtime (протоколы OpenAI Realtime и DashScope Realtime). Долгоживущие голосовые сессии работают параллельно с HTTP-трафиком: та же аутентификация и допуск по ключу, учёт по ходам (response.create → response.done) в том же конвейере статистики / биллинга / логов, что и HTTP — единый реестр затрат.

Пять уровней: группы ключей ограничивают, к каким моделям и балансировщикам может обращаться каждый тенант; ключи доступа + правила Header ACL различают клиентов по заголовку запроса; сопоставление моделей по идентичности направляет одно имя модели к разным upstream для каждого тенанта; лимиты RPM / конкурентности / TPM на ключ ограничивают использование; а атрибуция стоимости на запрос означает, что каждый тенант видит только свои расходы. Руководство по изоляции мультитенантности — в документации docs.gatellm.io, раздел usecases/multi-tenant-isolation.

Да. GateLLM перехватывает поиск на уровне шлюза: настройте поисковый движок (serper, проверяется прямо в консоли), затем переключатели для каждой модели (следовать возможностям / принудительно включить / принудительно выключить) управляют инъекцией. Результаты синтезируются в нативные блоки поиска для каждого клиентского протокола (Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call) — открытые модели тоже получают поисковую опору. Сбои поиска деградируют корректно, не блокируя запросы, а перехваченный поиск исключается из биллинга использования. См. console/search в документации docs.gatellm.io.

Да. Один upstream может хранить несколько API-ключей со взвешенным распределением: детерминированный взвешенный хеш (FNV-1a) липко закрепляет каждого вызывающего за одним и тем же ключом (сродство кеша), а при отказе ключа шлюз повторяет запрос следующим непробованным ключом внутри этого upstream. Ключи с weight=0 — резервные, используются только после отказа всех ключей с weight>0. Состояние привязок видно построчно в консоли. См. reference/upstreams-models-fields в документации docs.gatellm.io.

Да. Любой OpenAI-compatible endpoint работает как upstream: задайте пользовательский базовый URL, и сервисы vLLM / Ollama / TGI будут управляться наравне с облачными производителями. Исходящие прокси (socks5 / http), пользовательские заголовки запросов и DNS для каждого upstream настраиваются для приватных сетей и особых топологий.

YAML не нужен. GateLLM поставляется с визуальной консолью: upstream / модели / балансировщики / контроль доступа / MCP / статистика / логи настраиваются через GUI с мгновенным переключением китайского и английского. Пакетные изменения проходят этапы подготовка → предпросмотр (полный набор конфликтов пространства имён) → атомарная фиксация с откатом всей партии при любом конфликте. Учётные записи консоли бывают с ролями admin / monitor (только чтение), и каждая операция и вход аудируются.

LiteLLM — отличный open-source LLM-прокси. GateLLM и LiteLLM разделяют базовый набор возможностей (маршрутизация, вызов инструментов, структурированный вывод, кеширование, SSO через OIDC + SAML 2.0 + SCIM). Отличия GateLLM — единый бинарник на Rust, 15 форм протоколов (4 семейства чат-протоколов транслируются any-to-any, остальные — по матрице совместимости), автоинъекция кеша на стороне шлюза и консоль без YAML; LiteLLM лидирует в корпоративной экосистеме (менеджеры секретов, колбэки сторонних guardrails, колбэки наблюдаемости). См. /compare/litellm.

Да. Полностью self-hosted в вашем VPC; ключи BYOK только в памяти, никогда на диске; корпоративный SSO (OIDC: Azure AD / Okta / универсальный, плюс SAML 2.0 и автоматическое выделение SCIM 2.0); журналы аудита уровня запросов с экспортом; готовность к GDPR; соответствие контролам SOC 2 Type II / ISO 27001 (сертификация в процессе). См. /security.

В Console → Settings → Billing создайте ручной снимок цены для модели — он помечается как закреплённый (жёлтый значок). Закреплённая цена становится текущей и перекрывает автоматическую базовую под ней; системные обновления пропускают эту модель и никогда не перезаписывают вашу ручную цену. Удаление возвращает следующую автоматическую строку — система самовосстанавливается.

Нет. Снимки цен упорядочены по created_at, и каждый покрывает только своё окно [собственное время, следующее время) — самый ранний заполняет историю, самый поздний продлевается вперёд бесконечно. Создайте новый снимок с будущим временем вступления в силу, чтобы запланировать снижение заранее, и оно затронет только последующие месяцы, либо заполните историческую цену, чтобы точно рассчитать прошлые месяцы.

Задайте суточную / месячную квоту стоимости (сумма в USD) для ключа доступа — два независимых цикла оцениваются по календарным дню и месяцу UTC, возвращая 429 quota_exceeded и останавливая обслуживание в момент срабатывания любого из них (суточное окно несёт Retry-After). Квоты наследуются ключ → группа → глобально; квота группы — это лимит на каждый ключ внутри группы (не общий реестр), а между группами действует самая широкая.