# GateLLM vs LiteLLM - 替代方案对比

> 可溯源的 GateLLM vs LiteLLM 对比:共享能力基线、GateLLM 的 Rust 运行时与 15 协议翻译、LiteLLM 的企业生态。含迁移路径。

规范链接: https://www.gatellm.io/zh-CN/compare/litellm/

## GateLLM vs LiteLLM
一份可溯源的对等对比。有些机制只有 GateLLM 具备、LiteLLM 没有 —— 条件模型切换、跨协议混用、原子配置提交；双方共享一份已打平的基线；少数几项是形态不同。
## 从 LiteLLM 迁移
把 OpenAI SDK 的 base_url 指向 GateLLM 即可,其余代码不用改。你现有的 BYOK 密钥、路由策略可平移到网关,再按需启用分级模型路由 / 分模式治理。
- 把 OpenAI SDK 的 base_url 指向 GateLLM(带 /v1)—— 只改一行,其余代码不动。
- 把现有各厂商 API Key 配进控制台(BYOK)—— 密钥仅存网关内存,不落库。
- 在控制台重建路由 / fallback / 负载均衡策略 —— 1:1 平移。
- 分级模型路由或脚本转换按需再开;先跑通基线,别一步到位。

## 授权 vs LiteLLM
GateLLM 是 BYOK 私有化授权 —— 按实例 / 内存收费,永不加收 Token 费用。LiteLLM OSS 免费但 SSO 限 5 用户内;其企业版按用量定价,24/7 SLA 为加价项。
## 成本与授权结构
- GateLLM:按实例固定授权(Pro 2GB $400/月)—— 不按席位、不加 token 费、无用量型费用。
- LiteLLM OSS:免费、可自托管;SSO 5 用户内免费。
- LiteLLM 企业版:按用量定价(需询价);24/7 SLA 与若干 guardrails 为付费加购项。
- 高用量下固定授权让成本与用量脱钩 —— 用量翻倍,授权费不变。

## 何时选谁
### 选 LiteLLM,如果…
你要一个成熟、社区庞大的 OSS 代理,能接受 config.yaml,且需求落在免费档内 —— 或你需要其企业版独有功能(secret manager 集成、guardrail 回调、自动同步模型定价、多区域 admin/worker 分离)并接受按用量付费。
### 选 GateLLM,如果…
你要单自托管二进制、原生多协议入口(Anthropic / Gemini / Bedrock / Realtime)、日志默认不落库的数据路径、单事务配置提交、崩溃安全计费 + 成本配额硬闸,以及用量增长时保持不变的固定授权。
### 两者可共存
LiteLLM 做快速实验、GateLLM 做合规生产网关 —— 两者都讲 OpenAI,SDK 切换任一方向都只是一行。
## FAQ
### GateLLM 比 LiteLLM 更便宜吗?
计费模型不同。LiteLLM OSS 免费(SSO 限 5 用户内),企业版按用量;GateLLM 是按实例的固定授权 —— 高 token 量下固定费胜出,低用量下免费 OSS 胜出。按用量与功能需求选,别信一刀切的说法。
### GateLLM 支持 LiteLLM 的所有功能吗?
大部分支持,但不是全部。LiteLLM 的端点面更宽(/batches、/files、/fine_tuning、/vector_stores)且企业版独有 secret manager 集成(AWS KMS、Vault、CyberArk)。GateLLM 强在原生多协议入口、prompt 缓存自动注入、日志默认不落库的数据路径。
### 从 LiteLLM 迁移有多难?
极小。两者都讲 OpenAI;把 SDK 的 base_url 指向 GateLLM,再把密钥与路由策略在控制台重建即可,客户端代码零改动。
### 谁的企业 SSO 更强?
现已对等。双方都支持 OIDC、SAML 2.0 与 SCIM 2.0 自动开户。差异在打包方式:GateLLM 把 SSO 与 SCIM 打包进按实例的固定授权(不按席位收费),而 LiteLLM OSS 的 SSO 限 5 用户内、SCIM 需用量计价的企业版。
### Python 运行时在高并发下真的有差异吗?
有,持续负载下尤其明显。GateLLM 是单 Rust 二进制、无垃圾回收 —— 亚毫秒级网关开销。LiteLLM 跑在 Python 进程 + 依赖栈之上,高并发下 GC 停顿与解释器开销是每个请求都要承担的、可实测的成本。
### 改 LiteLLM 的路由配置要重启吗?
LiteLLM 以 config.yaml 为中心,改动走文件 + 热重载。GateLLM 全控制台配置、免 YAML,批量变更走「暂存 → 预览完整冲突集 → 原子提交」,任一冲突整批回滚。无需重启,也不会出现半应用状态。
2026-09-04 对照 docs.litellm.ai 与 docs.gatellm.io 核实。功能与费率会漂移,采购前请以官方源为准。
### 差异化机制怎么运作
每项 GateLLM 差异化都是可落地的机制,不是营销话术。下面说明它底层怎么实现,以及 LiteLLM 对应做了什么。
#### 协议 any-to-any 互译
- **GateLLM**: 15 种协议形态;四大对话协议族(OpenAI / Anthropic / Gemini / DashScope)任意 A→B,其余按互通矩阵配对。入口 A → 出口 B,零胶水代码。
- **竞品缺口**: 以 OpenAI 兼容信封为中心 —— 非 OpenAI SDK 走兼容垫片,跨厂商格式漂移需逐个模型适配。
- [协议互通矩阵(docs 站)](https://docs.gatellm.io/zh-CN/reference/protocol-matrix)

#### 缓存断点自动注入
- **GateLLM**: OpenAI 协议调用自动注入缓存断点、跨协议映射缓存语义、去重 Google cachedContent。
- **竞品缺口**: 透传 cache_control、归一 usage —— 无网关侧断点注入或跨协议缓存映射。

#### 单事务配置提交
- **GateLLM**: 暂存 → 预览完整命名空间冲突集 → 原子提交,任一冲突整批回滚。
- **竞品缺口**: config.yaml 热重载,无冲突预览、无原子回滚 —— 半应用状态需人工收拾。

#### 日志默认不落库
- **GateLLM**: 请求日志默认关闭、日志正文在每个出口面脱敏（查看原文需 reveal=true + admin 角色，且被审计、被计数）、默认留存 7 天。
- **竞品缺口**: 请求/响应日志默认开启;脱敏须走 guardrails 主动开启。

#### 三种计费模式 + 多币种
- **GateLLM**: Token / 按次 / 按时长计费,USD/CNY/EUR/JPY/GBP 多币种、自定义定价维度、pinned 私有价。
- **竞品缺口**: 仅按 token 的花费追踪 —— 无按次/按时长模式或多币种价卡。

#### 单 Rust 二进制无 GC
- **GateLLM**: 单个静态链接二进制、无垃圾回收 —— 亚毫秒级网关开销。
- **竞品缺口**: Python 进程 + 完整依赖栈;持续高并发下有 GC 停顿。

#### 沙箱脚本引擎
- **GateLLM**: QuickJS 引擎,请求侧 before / after 双 slot + 响应侧 slot;context.useModel() 整体换路由(base_url、协议、凭证);控制台内置测试入口 + json_path / str_* / regex_* 等内置函数。
- **竞品缺口**: 仅 Python callback / hook —— 无网关侧沙箱、无译前/译后 slot、无控制台测试循环。
- [脚本 API(docs 站)](https://docs.gatellm.io/zh-CN/reference/scripting-api)

## 对比表
一份可溯源的对等对比。有些机制只有 GateLLM 具备、LiteLLM 没有；双方共享一份已打平的基线；少数几项是形态不同。请依据上面两层做决定，而不是营销噪音。
### 只有 GateLLM 做得到
LiteLLM 没有的机制 —— 每项能力下方用一行说明「怎么做到的」。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 条件模型切换 | ✓ | ✗ |
| 跨协议模型 / SDK 混用 | ✓ | ✗ |
| 单事务配置提交 | ✓ | ✗ |
| 成本配额硬闸 | ✓ | ✗ |
| 崩溃安全计费 | ✓ | ✗ |
| 上游 key 池加权 + 粘性绑定 | ✓ | ✗ |
| 三种计费模式 + 多币种 | ✓ | ✗ |
| 上游 SSO 凭据登录 | ✓ | ✗ |
| 能力元数据注册表 | ✓ | ✗ |
| LTS 长期支持分支 | ✓ | ✗ |

- **条件模型切换**: 控制台声明式 switch-route 规则 + 内置 plan 模式检测 + context.useModel() 脚本 —— 客户端零改动。LiteLLM 需自写 Python callback。
- **跨协议模型 / SDK 混用**: 原生任意 A→B 入口 —— 用 Anthropic SDK 调 GPT、用 Gemini SDK 调 DeepSeek。LiteLLM 以 OpenAI 为中心，反向走兼容垫片。
- **单事务配置提交**: 暂存 → 预览完整冲突集 → 原子提交，任一冲突整批回滚。
- **成本配额硬闸**: 日 / 月双周期到顶即返回 429 quota_exceeded。LiteLLM 只有预算告警。
- **崩溃安全计费**: 预扣 → 结算 → 退款 + in-flight 台账 —— 进程崩溃后账目仍正确。
- **上游 key 池加权 + 粘性绑定**: FNV-1a 加权哈希把同一调用方粘定到一把 key，失败换下一把未试 key；weight=0 备用。
- **三种计费模式 + 多币种**: Token / 按次 / 按时长 + USD/CNY/EUR/JPY/GBP + 自定义维度。LiteLLM 仅按 token 追踪。
- **上游 SSO 凭据登录**: 可接入无静态 key 的厂商（如 Kiro）。LiteLLM 仅支持静态 API key。
- **能力元数据注册表**: 驱动自动注入与降级；新模型能力漂移免改代码。
- **LTS 长期支持分支**: N-1 + LTS 分支（见 /lifecycle）。LiteLLM 仅支持最近 4 个 minor 线。

### 双方都做得到
已打平的基线 —— 选哪个都能覆盖这一层。决定在上下两层。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| API 路由 · fallback · 负载均衡 | ✓ | ✓ |
| BYOK 无 token 加价 | ✓ | ✓ |
| 全私有化部署 / 数据不出内网 | ✓ | ✓ |
| Tool Calling 跨厂商归一 | ✓ | ✓ |
| 结构化输出（JSON Schema）归一 | ✓ | ✓ |
| 推理 token（thinking）归一 | ✓ | ✓ |
| 跨模型 Prompt 缓存 | ✓ | ✓ |
| 联网搜索注入 | ✓ | ✓ |
| MCP 网关（工具聚合） | ✓ | ✓ |
| 可视化控制台 | ✓ | ✓ |
| 审计日志与用量 / 成本核算 | ✓ | ✓ |

### 形态不同之处
不是谁更好 —— 机制与打包方式不同，值得你直接权衡。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 运行形态 | 单 Rust 二进制 · 无 GC 停顿 | Python 进程 + 依赖栈 |
| 协议翻译面 | 15 种协议形态；四大对话协议族（OpenAI / Anthropic / Gemini / DashScope）任意 A→B，其余按互通矩阵配对 | 以 OpenAI 兼容为中心 + 若干兼容端点 |
| 原生协议入口 | /v1/messages + count_tokens、Gemini generateContent、/v1beta/cachedContents CRUD、/v1/realtime、/mcp —— 一个网关原生承接各种 SDK | OpenAI 兼容端点（加若干兼容变体） |
| Prompt 缓存深度 | OpenAI 协议调用自动注入断点 + 跨协议翻译 + Google cachedContent 去重 | 透传 cache_control，归一 usage |
| 日志隐私默认值 | 请求日志默认不落库 · 日志正文在每个出口面脱敏，查看原文需 admin 且进审计 · 默认留存 7 天 | 请求/响应日志默认开启；脱敏走 guardrails |
| 配置形态 | 全控制台 —— 免 YAML，改完即时生效 | 以 config.yaml 为中心 |
| 企业 SSO 与 SCIM 打包方式 | OIDC + SAML 2.0 + SCIM 打包进按实例固定授权，不按席位收费 | OSS 的 SSO 限 5 用户内；SCIM 需用量计价的企业版 |
| 授权形态 | 按实例 / 内存固定，不按席位、不加 token 费 | OSS 免费；企业版按用量 |
| 支持 SLA | 固定授权内即含优先响应 | 标准档无响应时限承诺；24/7 SLA 为加价项（Sev0 1h / Sev1 6h） |
| 端点覆盖 | Chat / Realtime / MCP 核心端点 | 另有 /batches、/files、/fine_tuning、/vector_stores、/videos、/containers |
| 第三方生态 | 内置日志 / Prometheus / OTel —— 标准协议直出，不绑单一厂商；密钥与 PII 识别内置在网关里，不依赖第三方引擎 | AWS KMS / Vault / CyberArk secret manager；Presidio PII guardrails；Langfuse / Langsmith / Arize 可观测 |

已对照各产品官方文档核实（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企业版许可；细节可能漂移，采购前请以官方源为准。

## 其他对比
- [OpenRouter](https://www.gatellm.io/zh-CN/compare/openrouter.md)
- [Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-CN/compare/alibaba-cloud.md)
- [Azure API Management](https://www.gatellm.io/zh-CN/compare/azure-apim.md)
- [Apigee](https://www.gatellm.io/zh-CN/compare/apigee.md)
- [Cloudflare AI Gateway](https://www.gatellm.io/zh-CN/compare/cloudflare.md)
- [Kong AI Gateway](https://www.gatellm.io/zh-CN/compare/kong.md)
- [Portkey (Prisma AIRS)](https://www.gatellm.io/zh-CN/compare/portkey.md)

## 相关页面
- [首页](https://www.gatellm.io/zh-CN/index.md)
- [定价](https://www.gatellm.io/zh-CN/pricing.md)
- [成本计算器](https://www.gatellm.io/zh-CN/calculator.md)
- [关于](https://www.gatellm.io/zh-CN/about.md)
- [预约演示](https://www.gatellm.io/zh-CN/demo.md)
- [常见问题](https://www.gatellm.io/zh-CN/faq.md)
- [对比 AI 网关](https://www.gatellm.io/zh-CN/compare.md)
- [对比 OpenRouter](https://www.gatellm.io/zh-CN/compare/openrouter.md)
- [对比 Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-CN/compare/alibaba-cloud.md)
- [对比 Azure API Management](https://www.gatellm.io/zh-CN/compare/azure-apim.md)
- [对比 Apigee](https://www.gatellm.io/zh-CN/compare/apigee.md)
- [对比 Cloudflare AI Gateway](https://www.gatellm.io/zh-CN/compare/cloudflare.md)
- [对比 Kong AI Gateway](https://www.gatellm.io/zh-CN/compare/kong.md)
- [对比 Portkey](https://www.gatellm.io/zh-CN/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway 对比](https://www.gatellm.io/zh-CN/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter 对比](https://www.gatellm.io/zh-CN/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey 对比](https://www.gatellm.io/zh-CN/compare/litellm-vs-portkey.md)
- [场景方案](https://www.gatellm.io/zh-CN/use-cases.md)
- [降低调用成本](https://www.gatellm.io/zh-CN/use-cases/reduce-cost.md)
- [做到高可用](https://www.gatellm.io/zh-CN/use-cases/high-availability.md)
- [多租户隔离](https://www.gatellm.io/zh-CN/use-cases/multi-tenant.md)
- [合规与审计](https://www.gatellm.io/zh-CN/use-cases/compliance-audit.md)
- [从症状排障](https://www.gatellm.io/zh-CN/use-cases/troubleshooting.md)
- [混合多供应商模型栈](https://www.gatellm.io/zh-CN/use-cases/mixed-model-stack.md)
- [在 Office 里自托管用 AI](https://www.gatellm.io/zh-CN/use-cases/self-hosted-office-ai.md)
- [Token 用量可见与归因](https://www.gatellm.io/zh-CN/use-cases/token-ops.md)
- [Token FinOps: AI 支出分摊与管控](https://www.gatellm.io/zh-CN/use-cases/token-finops.md)
- [MCP 工具治理](https://www.gatellm.io/zh-CN/use-cases/mcp-tool-governance.md)
- [给模型统一加联网搜索](https://www.gatellm.io/zh-CN/use-cases/web-search-grounding.md)
- [多 Key 轮询与备用](https://www.gatellm.io/zh-CN/use-cases/multi-key-pooling.md)
- [限制接入的客户端](https://www.gatellm.io/zh-CN/use-cases/client-admission-control.md)
- [强制模型使用策略](https://www.gatellm.io/zh-CN/use-cases/enforce-model-policy.md)
- [客户端不暴露模型选择](https://www.gatellm.io/zh-CN/use-cases/automatic-model-tiering.md)
- [一套协议接任意模型](https://www.gatellm.io/zh-CN/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 加载项](https://www.gatellm.io/zh-CN/office-addin.md)
- [术语表](https://www.gatellm.io/zh-CN/glossary.md)
- [模型目录](https://www.gatellm.io/zh-CN/models.md)
- [SDK 与框架集成](https://www.gatellm.io/zh-CN/integrations.md)
- [AI Coding Agent 与 Harness](https://www.gatellm.io/zh-CN/coding-agents.md)
- [安全与合规](https://www.gatellm.io/zh-CN/security.md)
- [隐私政策](https://www.gatellm.io/zh-CN/privacy-policy.md)
- [服务条款](https://www.gatellm.io/zh-CN/terms.md)
- [Cookie 政策](https://www.gatellm.io/zh-CN/cookies.md)
- [数据处理协议 (DPA)](https://www.gatellm.io/zh-CN/dpa.md)
- [子处理方清单](https://www.gatellm.io/zh-CN/subprocessors.md)
- [安全问卷预答库 (CAIQ/SIG/VSA)](https://www.gatellm.io/zh-CN/trust.md)
- [事故响应与支持服务](https://www.gatellm.io/zh-CN/sla.md)
- [漏洞披露政策](https://www.gatellm.io/zh-CN/vulnerability-disclosure.md)
- [开源许可声明](https://www.gatellm.io/zh-CN/open-source-licenses.md)
- [版本支持与生命周期 (EOL)](https://www.gatellm.io/zh-CN/lifecycle.md)
- [技术博客](https://www.gatellm.io/zh-CN/blog.md)
- [你的 Agent 权限比员工还大:在网关层治理 MCP 工具](https://www.gatellm.io/zh-CN/blog/mcp-tool-governance.md)
- [一张一万美元的账单:五种降低 LLM 成本又不让应用变笨的做法](https://www.gatellm.io/zh-CN/blog/reduce-cost.md)
- [厂商的目录价不是你的成本:把真正的 FinOps 用到 Token 支出上](https://www.gatellm.io/zh-CN/blog/token-finops.md)
- [llms.txt](https://www.gatellm.io/zh-CN/llms.txt)