GateLLM vs LiteLLM
Сравнение с проверкой по источникам. Только GateLLM поставляет механизмы, которых у LiteLLM нет, — условное переключение моделей, межпротокольное смешивание, атомарные фиксации конфигурации, — при этом обе системы разделяют устоявшуюся базу; некоторые вещи различаются по своей сути.
Сравнительная таблица
Это умеет только GateLLM
Механизмы, которых у LiteLLM нет — однострочное «как это работает» под каждой возможностью.
| Возможность | GateLLM | LiteLLM |
|---|---|---|
| Условное переключение моделейДекларативные правила switch-route + встроенное определение режима планирования + скрипты context.useModel() — без изменений на клиенте. В LiteLLM нужны пользовательские Python-колбэки. | Да | Нет |
| Смешивание моделей / SDK между протоколамиНативные точки входа any-to-any — вызывайте GPT из Anthropic SDK, DeepSeek из Gemini SDK. LiteLLM ориентирован на OpenAI; обратные пути идут через прослойки. | Да | Нет |
| Фиксация конфигурации одной транзакциейПодготовка → предпросмотр полного набора конфликтов → атомарная фиксация; при любом конфликте откатывается вся партия. | Да | Нет |
| Жёсткий шлюз квоты стоимостиСуточный / месячный циклы возвращают 429 quota_exceeded в момент превышения расхода. LiteLLM отправляет только оповещения о бюджете. | Да | Нет |
| Безопасный для сбоев биллингПредварительное списание → расчёт → возврат с реестром незавершённых операций — корректно при падении процесса. | Да | Нет |
| Пул upstream-ключей и липкая привязкаВзвешенное хеширование FNV-1a закрепляет каждого вызывающего за одним ключом и переключается на следующий непробованный ключ; ключи с weight=0 — в резерве. | Да | Нет |
| Три режима биллинга + мультивалютностьЗа токены / за вызов / за длительность, USD/CNY/EUR/JPY/GBP, пользовательские измерения. LiteLLM ведёт учёт только по токенам. | Да | Нет |
| Вход в upstream через SSO-учётные данныеПодключает производителей без статических ключей (например, Kiro). LiteLLM принимает только статические API-ключи. | Да | Нет |
| Реестр метаданных возможностейУправляет автоинъекцией и деградацией; изменение возможностей новой модели не требует правки кода. | Да | Нет |
| Ветка релизов LTSВетка N-1 + LTS (см. /lifecycle). LiteLLM поддерживает только последние 4 минорные линии. | Да | Нет |
Оба делают это хорошо
Устоявшаяся база — этот уровень покрывает любой из шлюзов. Решение принимается на уровнях выше и ниже.
| Возможность | GateLLM | LiteLLM |
|---|---|---|
| Маршрутизация API · fallback · балансировка нагрузки | Да | Да |
| BYOK без наценки на токены | Да | Да |
| Полностью self-hosted, данные остаются на вашей инфраструктуре | Да | Да |
| Нормализация вызова инструментов между производителями | Да | Да |
| Нормализация структурированного вывода (JSON Schema) | Да | Да |
| Адаптация токенов рассуждения / thinking | Да | Да |
| Кеширование промптов между моделями | Да | Да |
| Инъекция веб-поиска | Да | Да |
| MCP-шлюз (агрегация инструментов) | Да | Да |
| Визуальная консоль для настройки | Да | Да |
| Журналы аудита и учёт расхода / стоимости | Да | Да |
Отличается по сути
Не лучше и не хуже — другие механизмы и упаковка, которые стоит взвесить напрямую.
| Возможность | GateLLM | LiteLLM |
|---|---|---|
| Среда выполнения | Единый бинарник на Rust · без пауз GC | Процесс Python + стек зависимостей |
| Поверхность трансляции протоколов | 15 форм протоколов; четыре семейства чат-протоколов (OpenAI / Anthropic / Gemini / DashScope) транслируются any-to-any, остальные — по матрице совместимости | Обёртка с центром на OpenAI + совместимые endpoint |
| Нативные точки входа протоколов | /v1/messages + count_tokens, Gemini generateContent, CRUD /v1beta/cachedContents, /v1/realtime, /mcp — один шлюз нативно обслуживает каждый SDK | OpenAI-compatible endpoint (плюс совместимые варианты) |
| Глубина кеширования промптов | Автоинъекция точек останова кеша в вызовах протокола OpenAI + межпротокольное сопоставление + дедупликация Google cachedContent | Пробрасывает cache_control и нормализует usage |
| Приватность логов по умолчанию | Логи запросов выключены по умолчанию · сохранённые тела логов редактируются на каждой исходящей поверхности, необработанный просмотр только для администратора и аудируется · хранение по умолчанию 7 дней | Логирование запросов и ответов включено; редактирование через guardrails |
| Режим конфигурации | Полностью в консоли — без YAML, изменения применяются на лету | С центром на config.yaml |
| Упаковка Enterprise SSO и SCIM | OIDC + SAML 2.0 + SCIM включены в фиксированную лицензию на экземпляр, без оплаты за место | OSS ограничивает SSO 5 пользователями; SCIM требует тарифа Enterprise с оплатой по использованию |
| Лицензирование | Фиксированно за экземпляр / память, без мест, без наценки на токены | Бесплатный OSS; Enterprise — оплата по использованию |
| SLA поддержки | Приоритетная поддержка включена в фиксированную лицензию | Стандартный тариф не даёт обязательств по времени реагирования; SLA 24/7 — платная надстройка (Sev0 1 ч / Sev1 6 ч) |
| Поверхность endpoint | Основные endpoint чата / realtime / MCP | Добавляет /batches, /files, /fine_tuning, /vector_stores, /videos, /containers |
| Сторонняя экосистема | Встроенные логи / Prometheus / OTel — исходящие данные по стандартным протоколам, без привязки к одному производителю; обнаружение секретов и PII встроено в шлюз, сторонний движок не нужен | Менеджеры секретов AWS KMS / Vault / CyberArk; guardrails PII Presidio; наблюдаемость Langfuse / Langsmith / Arize |
Проверено по официальной документации каждого продукта по состоянию на 2026-09-04 (docs.litellm.ai / docs.gatellm.io). Часть возможностей LiteLLM требует лицензии Enterprise; детали могут меняться — сверяйтесь с источниками перед закупкой.
Как работают отличия
Каждое отличие GateLLM — это механизм, а не рекламный слоган. Вот что он делает под капотом и что вместо этого делает LiteLLM.
Трансляция протоколов any-to-any
GateLLM: 15 форм протоколов; четыре семейства чат-протоколов (OpenAI / Anthropic / Gemini / DashScope) транслируются any-to-any, остальные — по матрице совместимости. Вход A → выход B без склеивающего кода.
В чём уступают конкуренты: Обёртка с центром на OpenAI — SDK не-OpenAI идут через прослойки совместимости, а расхождения форматов между производителями требуют адаптеров под каждую модель.
Матрица совместимости протоколов (документация) →Автоинъекция точек останова кеша
GateLLM: Автоматически вставляет точки останова кеша в вызовах протокола OpenAI, сопоставляет семантику кеша между протоколами и дедуплицирует Google cachedContent.
В чём уступают конкуренты: Пробрасывает cache_control и нормализует usage — без инъекции точек останова на стороне шлюза и без межпротокольного сопоставления кеша.
Фиксация конфигурации одной транзакцией
GateLLM: Подготовка → предпросмотр полного набора конфликтов пространства имён → атомарная фиксация. Вся партия откатывается при любом конфликте.
В чём уступают конкуренты: Горячая перезагрузка config.yaml без предпросмотра конфликтов и атомарного отката — частично применённое состояние требует ручной очистки.
Путь данных без логов по умолчанию
GateLLM: Логи запросов выключены по умолчанию, сохранённые тела логов редактируются на каждой исходящей поверхности (необработанный просмотр требует reveal=true и роли администратора и аудируется), хранение по умолчанию 7 дней.
В чём уступают конкуренты: Логирование запросов и ответов включено по умолчанию; редактирование — по желанию через guardrails.
Три режима биллинга + мультивалютность
GateLLM: Биллинг за токены / за вызов / за длительность, USD/CNY/EUR/JPY/GBP, пользовательские измерения цен и закреплённые приватные цены.
В чём уступают конкуренты: Только учёт расходов по токенам — без режимов за вызов/длительность и мультивалютных прайс-листов.
Единый бинарник на Rust, без пауз GC
GateLLM: Один статически слинкованный бинарник, без сборщика мусора — накладные расходы шлюза менее миллисекунды.
В чём уступают конкуренты: Процесс Python + полный стек зависимостей; паузы GC при устойчивой конкурентности.
Изолированный движок скриптов
GateLLM: Движок QuickJS со слотами before / after для запроса и слотом для ответа; context.useModel() переключает весь маршрут (base_url, протокол, учётные данные); тестировщик в консоли и встроенные помощники json_path / str_* / regex_*.
В чём уступают конкуренты: Только Python-колбэки / хуки — без изолированной песочницы на шлюзе, без слотов пред/пост-трансляции и без цикла тестирования в консоли.
API скриптов (документация) →Миграция с LiteLLM
Направьте base_url вашего OpenAI SDK на GateLLM — других изменений в коде не нужно. Существующие ключи BYOK и политики маршрутизации переносятся; многоуровневую маршрутизацию моделей / управление по режимам включайте по мере необходимости.
- 1Направьте base_url вашего OpenAI SDK на GateLLM (с /v1) — одна строка, других изменений в коде нет.
- 2Введите существующие ключи провайдеров в консоль (BYOK) — они живут в памяти шлюза и не сохраняются.
- 3Воссоздайте политики маршрутизации / fallback / балансировки в консоли — они переносятся один к одному.
- 4Включайте многоуровневую маршрутизацию моделей или скриптовые трансформации только по необходимости; начните с базовой конфигурации.
Лицензирование vs LiteLLM
GateLLM — self-hosted лицензия BYOK с оплатой за экземпляр / память, без наценки на токены. LiteLLM OSS бесплатен, но SSO ограничен 5 пользователями; его тариф Enterprise оплачивается по использованию, а SLA 24/7 — платная надстройка.
Стоимость и структура лицензии
- •GateLLM: фиксированная лицензия на экземпляр (Pro 2 ГБ $400/мес) — без мест, без наценки на токены, без платежей по использованию.
- •LiteLLM OSS: бесплатно, self-hosted; SSO бесплатен до 5 пользователей.
- •LiteLLM Enterprise: оплата по использованию (цена по запросу); SLA 24/7 и ряд guardrails — платные надстройки.
- •При больших объёмах фиксированная лицензия отделяет стоимость от использования — удвойте токены, и плата за лицензию не изменится.
Когда что выбирать
Выбирайте LiteLLM, если…
Вам нужен зрелый OSS-прокси с большим сообществом, вы готовы работать с config.yaml и ваши потребности укладываются в бесплатный тариф — либо вам нужны доступные только в Enterprise интеграции с менеджерами секретов, колбэки guardrails, автосинхронизация цен на модели и разделение admin/worker по регионам, и вы можете платить по использованию.
Выбирайте GateLLM, если…
Вам нужен единый self-hosted бинарник, нативные мультипротокольные точки входа (Anthropic / Gemini / Bedrock / Realtime), путь данных с отключёнными по умолчанию логами, фиксации конфигурации одной транзакцией, безопасный для сбоев биллинг с жёсткими шлюзами квот и фиксированная лицензия, не растущая с объёмом.
Оба могут сосуществовать
Запускайте LiteLLM для быстрых экспериментов, а GateLLM — как управляемый продакшн-шлюз: оба говорят на OpenAI, поэтому замена SDK — одна строка в любом случае.
FAQ
Проверено 2026-09-04 по docs.litellm.ai и docs.gatellm.io. Возможности и сборы могут меняться — сверяйтесь с источниками перед закупкой.