GateLLM vs LiteLLM
一份可溯源的对等对比。GateLLM 与 LiteLLM 共享能力基线;GateLLM 的差异化在 Rust 运行时、15 协议翻译与免 YAML 控制台 —— LiteLLM 在企业生态更强。
六个 LiteLLM 没有的机制
每项 GateLLM 差异化都是可落地的机制,不是营销话术。下面说明它底层怎么实现,以及 LiteLLM 对应做了什么。
协议 any-to-any 互译
GateLLM: 15 种协议形态;四大对话协议族(OpenAI / Anthropic / Gemini / DashScope)任意 A→B,其余按互通矩阵配对。入口 A → 出口 B,零胶水代码。
竞品缺口: 以 OpenAI 兼容信封为中心 —— 非 OpenAI SDK 走兼容垫片,跨厂商格式漂移需逐个模型适配。
协议互通矩阵(docs 站) →缓存断点自动注入
GateLLM: OpenAI 协议调用自动注入缓存断点、跨协议映射缓存语义、去重 Google cachedContent。
竞品缺口: 透传 cache_control、归一 usage —— 无网关侧断点注入或跨协议缓存映射。
单事务配置提交
GateLLM: 暂存 → 预览完整命名空间冲突集 → 原子提交,任一冲突整批回滚。
竞品缺口: config.yaml 热重载,无冲突预览、无原子回滚 —— 半应用状态需人工收拾。
日志默认不落库
GateLLM: 请求日志默认关闭、28 类凭据自动脱敏、默认留存 7 天。
竞品缺口: 请求/响应日志默认开启;脱敏须走 guardrails 主动开启。
三种计费模式 + 多币种
GateLLM: Token / 按次 / 按时长计费,USD/CNY/EUR/JPY/GBP 多币种、自定义定价维度、pinned 私有价。
竞品缺口: 仅按 token 的花费追踪 —— 无按次/按时长模式或多币种价卡。
单 Rust 二进制无 GC
GateLLM: 单个静态链接二进制、无垃圾回收 —— 亚毫秒级网关开销。
竞品缺口: Python 进程 + 完整依赖栈;持续高并发下有 GC 停顿。
GateLLM vs LiteLLM
一份可溯源的对等对比。GateLLM 的差异化在单 Rust 二进制、15 种协议翻译与免 YAML 控制台；LiteLLM 在共享能力基线上对等、生态广度领先。
双方都做得很好 —— 不构成选型差异
如果你的需求全在这一层，选哪个都行。请依据下面两层做决定，而不是这层。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| API 路由 · fallback · 负载均衡 | ✓ | ✓ |
| BYOK 无 token 加价 | ✓ | ✓ |
| 全私有化部署 / 数据不出内网 | ✓ | ✓ |
| Tool Calling 跨厂商归一 | ✓ | ✓ |
| 结构化输出（JSON Schema）归一 | ✓ | ✓ |
| 推理 token（thinking）归一 | ✓ | ✓ |
| 跨模型 Prompt 缓存 | ✓ | ✓ |
| 联网搜索注入 | ✓ | ✓ |
| MCP 网关（工具聚合） | ✓ | ✓ |
| 可视化控制台 | ✓ | ✓ |
| 企业 SSO（OIDC + SAML 2.0） | ✓ | ✓（企业版） |
| SCIM 2.0 自动开户 / 停用 | ✓ | ✓（企业版） |
| 审计日志与用量 / 成本核算 | ✓ | ✓ |
GateLLM 更强之处
已对照 GateLLM 内核（单 Rust 二进制）与 LiteLLM 公开文档核实。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| 运行形态 | 单 Rust 二进制 · 无 GC 停顿 | Python 进程 + 依赖栈 |
| 协议翻译面 | 15 种协议形态；四大对话协议族（OpenAI / Anthropic / Gemini / DashScope）任意 A→B，其余按互通矩阵配对 | 以 OpenAI 兼容为中心 + 若干兼容端点 |
| 原生协议入口 | /v1/messages + count_tokens、Gemini generateContent、/v1beta/cachedContents CRUD、/v1/realtime、/mcp —— 一个网关原生承接各种 SDK | OpenAI 兼容端点（加若干兼容变体） |
| Prompt 缓存深度 | OpenAI 协议调用自动注入断点 + 跨协议翻译 + Google cachedContent 去重 | 透传 cache_control，归一 usage |
| 日志隐私默认值 | 请求日志默认不落库 · 28 类凭据自动脱敏 · 默认留存 7 天 | 请求/响应日志默认开启；脱敏走 guardrails |
| 配置形态 | 全控制台 —— 免 YAML，改完即时生效 | 以 config.yaml 为中心 |
| 批量配置事务性 | 暂存 → 预览完整冲突集 → 单事务原子提交 | config.yaml 热重载；无冲突预览、无原子回滚 —— 半应用状态需人工收拾 |
| 请求级改写 | switch-route 规则 + JS 转换脚本（按 plan 模式 useModel） | 自定义 callback / hook |
| 计费模式 | Token / 按次 / 按时长 + 多币种（USD/CNY/EUR/JPY/GBP）+ 自定义定价维度 | 按 token 的花费追踪 |
| 上游 SSO 凭据登录 | ✓（Kiro 等无静态 key 厂商） | 仅静态 API key —— 无静态 key 的厂商（如 Kiro）接不进来 |
| 能力元数据注册表 | ✓（驱动自动注入与降级） | 按 provider 硬编码适配 —— 新模型能力漂移需改代码 |
| 授权形态 | 按实例 / 内存固定，不按席位、不加 token 费 | OSS 免费；企业版按用量 |
| 多协议 SDK 并存 | 一个网关原生承接 OpenAI / Anthropic / Gemini / DashScope SDK —— 客户端与上游协议可不同 | 以 OpenAI 兼容入口为中心；非 OpenAI SDK 走兼容垫片 |
| 上游 key 池加权 + 粘性绑定 | FNV-1a 加权哈希把同一调用方粘定到一把 key，失败换下一把未试 key，weight=0 备用 | 单 provider 单 key；无加权池与故障切换 |
| 崩溃安全计费 | 预扣 → 结算 → 退款 + in-flight 台账 —— 进程崩溃后账目仍正确 | 事后花费追踪；崩溃会丢单或重复计费 |
| 成本配额硬闸 | 日 / 月双周期独立判定、429 quota_exceeded + Retry-After、密钥 → 组 → 全局三级继承 | 仅预算告警 —— 超支在人工介入前已发生 |
| 版本支持窗口 | N-1 + LTS 分支（见 /lifecycle） | 仅最近 4 个 minor 线、无 LTS 分支 |
| 支持 SLA | 固定授权内即含优先响应 | 标准档无响应时限承诺；24/7 SLA 为加价项（Sev0 1h / Sev1 6h） |
LiteLLM 覆盖更广之处
LiteLLM 的 OSS 与企业版表面在若干领域更宽 —— 诚实的对比必须列出。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| 批处理 / 文件 / 微调 / 向量库端点 | — | /batches、/files、/fine_tuning、/vector_stores、/videos、/containers |
| 模型定价自动同步 | pinned 私有价遮蔽 auto 基线（有意设计） | Auto Sync New Models，免重启 |
| 单许可多区域 | — | 多区域部署 + admin/worker 分离 |
| 第三方生态集成广度 | 内置日志 / Prometheus / OTel —— 标准协议直出，不绑单一厂商 | AWS KMS / Vault / CyberArk secret manager；Presidio PII guardrails；Langfuse / Langsmith / Arize 可观测 |
| 社区与生态成熟度 | 较年轻 | 更大、更成熟的 OSS 社区 |
已对照各产品官方文档核实（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企业版许可；细节可能漂移，采购前请以官方源为准。
从 LiteLLM 迁移
把 OpenAI SDK 的 base_url 指向 GateLLM 即可,其余代码不用改。你现有的 BYOK 密钥、路由策略可平移到网关,再按需启用分级模型路由 / 分模式治理。
- 1把 OpenAI SDK 的 base_url 指向 GateLLM(带 /v1)—— 只改一行,其余代码不动。
- 2把现有各厂商 API Key 配进控制台(BYOK)—— 密钥仅存网关内存,不落库。
- 3在控制台重建路由 / fallback / 负载均衡策略 —— 1:1 平移。
- 4分级模型路由或脚本转换按需再开;先跑通基线,别一步到位。
授权 vs LiteLLM
GateLLM 是 BYOK 私有化授权 —— 按实例 / 内存收费,永不加收 Token 费用。LiteLLM OSS 免费但 SSO 限 5 用户内;其企业版按用量定价,24/7 SLA 为加价项。
成本与授权结构
- •GateLLM:按实例固定授权(Pro 2GB $400/月)—— 不按席位、不加 token 费、无用量型费用。
- •LiteLLM OSS:免费、可自托管;SSO 5 用户内免费。
- •LiteLLM 企业版:按用量定价(需询价);24/7 SLA 与若干 guardrails 为付费加购项。
- •高用量下固定授权让成本与用量脱钩 —— 用量翻倍,授权费不变。
何时选谁
选 LiteLLM,如果…
你要一个成熟的 OSS 代理、能接受 config.yaml,且需求落在免费档内 —— 或你需要其企业版独有功能(secret manager 集成、guardrail 回调)并接受按用量付费。
选 GateLLM,如果…
你要单自托管二进制、原生多协议入口(Anthropic / Gemini / Bedrock / Realtime)、日志默认不落库的数据路径、单事务配置提交、崩溃安全计费 + 成本配额硬闸,以及用量增长时保持不变的固定授权。
两者可共存
LiteLLM 做快速实验、GateLLM 做合规生产网关 —— 两者都讲 OpenAI,SDK 切换任一方向都只是一行。
FAQ
2026-09-04 对照 docs.litellm.ai 与 docs.gatellm.io 核实。功能与费率会漂移,采购前请以官方源为准。