GateLLM vs LiteLLM
LiteLLM 是优秀的开源 LLM 代理(LM proxy)—— 它翻译 API 信封。GateLLM 在此之上做能力归一化、组合、聚合与全私有化企业治理。
竞品对比
GateLLM vs LiteLLM
LiteLLM 侧重 API 信封翻译；GateLLM 在其上保证**能力一致**，并提供企业级管控。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| API 路由 / Fallback / 负载均衡 | ✓ | ✓ |
| BYOK 无 token 加价 | ✓ | ✓ |
| 能力归一化（七个耦合点解决） | ✓ 全量 | 部分 |
| Tool Calling 跨模型统一 | ✓ | ✗ |
| 结构化输出（JSON Schema）统一 | ✓ | ✗ |
| Prompt 缓存跨模型统一 | ✓ | ✗ |
| 推理 Token 适配（o1 / thinking） | ✓ | ✗ |
| 多模型组合（工作流） | ✓ | ✗ |
| 多模型聚合提质（投票/裁判/best-of-N） | ✓ | ✗ |
| 全私有化部署 / 数据不出内网 | ✓ | ✓ |
| 等保三级 / 信创适配 | ✓ | ✗ |
| SSO / SCIM（SAML / OIDC / 飞书） | ✓ | ✗ |
| 企业级支持（SLA / 优先响应） | ✓ | 社区 |
| 多协议双向转换（入口 OpenAI/Anthropic/Gemini/DashScope + 出口同四种，任意 A→B） | ✓ | 部分 |
对比基于各产品 2026 年 7 月公开文档。LiteLLM 侧勾叉为示意，请以 LiteLLM 官方为准。
从 LiteLLM 迁移
把 OpenAI SDK 的 base_url 指向 GateLLM 即可,其余代码不用改。你现有的 BYOK 密钥、路由策略可平移到网关,再按需启用组合 / 聚合 / 分模式治理。
BYOK vs 聚合商
GateLLM 是 BYOK 私有化授权 —— 按实例 / 内存收费,永不加收 Token 费用。聚合商(SaaS 网关)通常加收约 5–8% 平台费 + 支付费:量大时这是可观的隐性成本。