LiteLLM vs OpenRouter
决定性的一行不是功能,而是你的 prompt 实际走向哪里。LiteLLM 跑在你的 VPC 里;OpenRouter 是托管中转。
LiteLLM 与 OpenRouter 被反复拿来比,而这类比较常常一开始就跑偏 —— 它们是两种不同形态的产品。OpenRouter 是托管聚合器:一个端点、很多模型、什么都不用部署。LiteLLM 是你要自己跑的库与代理。两者都给你「一个 API 调很多厂商」。但只有一个能让数据路径留在你自己的网络里 —— 对受监管的买方,这就是全部决策。
三家网关,五个判据
前两列各自是对应对比页的一句话浓缩。GateLLM 那一列是我们自己的立场,不是第三方评测 —— 请按此权重看待。
| 判据 | LiteLLM | OpenRouter | GateLLM |
|---|---|---|---|
| 部署形态 | 自托管 OSS | 纯 SaaS | 全私有化部署(Docker / Helm),无厂商控制面 |
| 计费锚点 | OSS 免费;企业版按用量 | Token 透传 + credit/BYOK 手续费 | 按实例授权;不加收 Token 费、不收席位费 |
| 协议入口 | OpenAI 中心 | OpenAI 兼容 | 四入四出(OpenAI / Anthropic / Gemini / DashScope) |
| 治理粒度 | SSO(5 用户上限)/ RBAC 在企业版 | 按 key 控制,无组织级 RBAC | SSO / SCIM / RBAC + 密钥组 ACL 与预算上限 |
| 供应商独立性 | 独立(BerriAI) | 独立(B 轮) | 独立厂商(Fluxon LLC) |
什么时候选 LiteLLM、什么时候选 OpenRouter、什么时候两个都不选
选 LiteLLM:如果路由逻辑必须落在你自己的基础设施里,且你愿意运维它。你得到厂商 failover、成本追踪与 OpenAI 兼容面,而请求路径上没有第三方。
选 OpenRouter:如果你要零部署、要最快接上很多模型 —— 原型、内部工具、或 prompt 本身不敏感的业务。它确实比自己跑任何东西都省事。
两个都不选:如果单一厂商、单一团队就是你的真实情况。OpenRouter 多了一跳你不需要的,LiteLLM 多了一个你不需要的服务。网关在需要多厂商 failover、按团队成本归因、或数据驻留要求时才开始回本。