# GateLLM vs LiteLLM - 替代方案對比

> 可溯源的 GateLLM vs LiteLLM 對比:共享能力基準、GateLLM 的 Rust 執行時與 15 協議翻譯、LiteLLM 的企業生態。含遷移路徑。

規範連結: https://www.gatellm.io/zh-TW/compare/litellm/

## GateLLM vs LiteLLM
一份可溯源的對等對比。有些機制只有 GateLLM 具備、LiteLLM 沒有 —— 條件模型切換、跨協議混用、原子設定提交；雙方共享一份共同的基準；少數幾項是形態不同。
## 從 LiteLLM 遷移
把 OpenAI SDK 的 base_url 指向 GateLLM 即可,其餘程式碼不用改。你現有的 BYOK 金鑰、路由策略可平移到閘道器,再按需啟用分級模型路由 / 分模式治理。
- 把 OpenAI SDK 的 base_url 指向 GateLLM(帶 /v1)—— 只改一行,其餘程式碼不動。
- 把現有各廠商 API Key 配進控制台(BYOK)—— 金鑰僅存閘道器記憶體,不寫入資料庫。
- 在控制台重建路由 / fallback / 負載平衡策略 —— 1:1 平移。
- 分級模型路由或指令碼轉換按需再開;先讓基準跑起來,別一步到位。

## 授權 vs LiteLLM
GateLLM 是 BYOK 私有化授權 —— 按執行個體 / 記憶體收費,永不加收 Token 費用。LiteLLM OSS 免費但 SSO 限 5 使用者內;其企業版按用量定價,24/7 SLA 為加價項。
## 成本與授權結構
- GateLLM:按執行個體固定授權(Pro 2GB $400/月)—— 不按席位、不加 token 費、無用量型費用。
- LiteLLM OSS:免費、可自託管;SSO 5 使用者內免費。
- LiteLLM 企業版:按用量定價(需詢價);24/7 SLA 與若干 guardrails 為付費加購項。
- 高用量下固定授權讓成本與用量脫鉤 —— 用量翻倍,授權費不變。

## 何時選誰
### 選 LiteLLM,如果…
你要一個成熟、社群龐大的 OSS 代理,能接受 config.yaml,且需求落在免費檔內 —— 或你需要其企業版獨有功能(secret manager 整合、guardrail 回呼、自動同步模型定價、多區域 admin/worker 分離)並接受按用量付費。
### 選 GateLLM,如果…
你要單自託管二進位執行檔、原生多協議入口(Anthropic / Gemini / Bedrock / Realtime)、日誌預設不寫入資料庫的資料路徑、單事務設定提交、當機安全計費 + 成本配額硬閘,以及用量增長時保持不變的固定授權。
### 兩者可共存
LiteLLM 做快速實驗、GateLLM 做合規生產閘道器 —— 兩者都講 OpenAI,SDK 切換任一方向都只是一行。
## FAQ
### GateLLM 比 LiteLLM 更便宜嗎?
計費模型不同。LiteLLM OSS 免費(SSO 限 5 使用者內),企業版按用量;GateLLM 是按執行個體的固定授權 —— 高 token 量下固定費勝出,低用量下免費 OSS 勝出。按用量與功能需求選,別信一刀切的說法。
### GateLLM 支援 LiteLLM 的所有功能嗎?
大部分支援,但不是全部。LiteLLM 的端點面更寬(/batches、/files、/fine_tuning、/vector_stores)且企業版獨有 secret manager 整合(AWS KMS、Vault、CyberArk)。GateLLM 強在原生多協議入口、prompt 快取自動注入、日誌預設不寫入資料庫的資料路徑。
### 從 LiteLLM 遷移有多難?
極小。兩者都講 OpenAI;把 SDK 的 base_url 指向 GateLLM,再把金鑰與路由策略在控制台重建即可,客戶端程式碼零改動。
### 誰的企業 SSO 更強?
現已對等。雙方都支援 OIDC、SAML 2.0 與 SCIM 2.0 自動佈建。差異在打包方式:GateLLM 把 SSO 與 SCIM 打包進按執行個體的固定授權(不按席位收費),而 LiteLLM OSS 的 SSO 限 5 使用者內、SCIM 需用量計價的企業版。
### Python 執行時在高並行下真的有差異嗎?
有,持續負載下尤其明顯。GateLLM 是單 Rust 二進位執行檔、無垃圾回收 —— 亞毫秒級閘道器開銷。LiteLLM 跑在 Python 程式 + 依賴棧之上,高並行下 GC 停頓與直譯器開銷是每個請求都要承擔的、可實測的成本。
### 改 LiteLLM 的路由設定要重啟嗎?
LiteLLM 以 config.yaml 為中心,改動走檔案 + 熱重載。GateLLM 全控制台設定、免 YAML,批次變更走「暫存 → 預覽完整衝突集 → 原子提交」,任一衝突整批復原。無需重啟,也不會出現半應用狀態。
2026-09-04 對照 docs.litellm.ai 與 docs.gatellm.io 核實。功能與費率會漂移,採購前請以官方源為準。
### 差異化機制怎麼運作
每項 GateLLM 差異化都是可落地的機制,不是行銷話術。下面說明它底層怎麼實現,以及 LiteLLM 對應做了什麼。
#### 協議 any-to-any 互譯
- **GateLLM**: 15 種協議形態;四大對話協議族(OpenAI / Anthropic / Gemini / DashScope)任意 A→B,其餘按互通矩陣配對。入口 A → 出口 B,零膠水程式碼。
- **競品缺口**: 以 OpenAI 相容信封為中心 —— 非 OpenAI SDK 走相容轉接層,跨廠商格式漂移需逐個模型適配。
- [協議互通矩陣(docs 站)](https://docs.gatellm.io/zh-CN/reference/protocol-matrix)

#### 快取斷點自動注入
- **GateLLM**: OpenAI 協議呼叫自動注入快取斷點、跨協議映射快取語義、去重 Google cachedContent。
- **競品缺口**: 透通 cache_control、正規化 usage —— 無閘道器側斷點注入或跨協議快取映射。

#### 單事務設定提交
- **GateLLM**: 暫存 → 預覽完整名稱空間衝突集 → 原子提交,任一衝突整批復原。
- **競品缺口**: config.yaml 熱重載,無衝突預覽、無原子復原 —— 半應用狀態需人工收拾。

#### 日誌預設不寫入資料庫
- **GateLLM**: 請求日誌預設關閉、日誌正文在每個出口面脫敏（檢視原文需 reveal=true + admin 角色，且被稽核、被計數）、預設留存 7 天。
- **競品缺口**: 請求/回應日誌預設開啟;脫敏須走 guardrails 主動開啟。

#### 三種計費模式 + 多幣種
- **GateLLM**: Token / 按次 / 按時長計費,USD/CNY/EUR/JPY/GBP 多幣種、自訂定價維度、pinned 私有價。
- **競品缺口**: 僅按 token 的花費追蹤 —— 無按次/按時長模式或多幣種價卡。

#### 單 Rust 二進位執行檔無 GC
- **GateLLM**: 單個靜態連結二進位執行檔、無垃圾回收 —— 亞毫秒級閘道器開銷。
- **競品缺口**: Python 程式 + 完整依賴棧;持續高並行下有 GC 停頓。

#### 沙箱指令碼引擎
- **GateLLM**: QuickJS 引擎,請求側 before / after 雙 slot + 回應側 slot;context.useModel() 整體換路由(base_url、協議、憑證);控制台內建測試入口 + json_path / str_* / regex_* 等內建函式。
- **競品缺口**: 僅 Python callback / hook —— 無閘道器側沙箱、無譯前/譯後 slot、無控制台測試迴圈。
- [指令碼 API(docs 站)](https://docs.gatellm.io/zh-CN/reference/scripting-api)

## 對比表
一份可溯源的對等對比。有些機制只有 GateLLM 具備、LiteLLM 沒有；雙方共享一份共同的基準；少數幾項是形態不同。請依據上面兩層做決定，而不是行銷噪音。
### 只有 GateLLM 做得到
LiteLLM 沒有的機制 —— 每項能力下方用一行說明「怎麼做到的」。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 條件模型切換 | ✓ | ✗ |
| 跨協議模型 / SDK 混用 | ✓ | ✗ |
| 單事務設定提交 | ✓ | ✗ |
| 成本配額硬閘 | ✓ | ✗ |
| 當機安全計費 | ✓ | ✗ |
| 上游 key 池加權 + 粘性繫結 | ✓ | ✗ |
| 三種計費模式 + 多幣種 | ✓ | ✗ |
| 上游 SSO 憑證登入 | ✓ | ✗ |
| 能力後設資料登錄檔 | ✓ | ✗ |
| LTS 長期支援分支 | ✓ | ✗ |

- **條件模型切換**: 控制台宣告式 switch-route 規則 + 內建 plan 模式檢測 + context.useModel() 指令碼 —— 客戶端零改動。LiteLLM 需自寫 Python callback。
- **跨協議模型 / SDK 混用**: 原生任意 A→B 入口 —— 用 Anthropic SDK 調 GPT、用 Gemini SDK 調 DeepSeek。LiteLLM 以 OpenAI 為中心，反向走相容轉接層。
- **單事務設定提交**: 暫存 → 預覽完整衝突集 → 原子提交，任一衝突整批復原。
- **成本配額硬閘**: 日 / 月雙週期到頂即返回 429 quota_exceeded。LiteLLM 只有預算告警。
- **當機安全計費**: 預扣 → 結算 → 退款 + in-flight 臺帳 —— 程式當機後帳目仍正確。
- **上游 key 池加權 + 粘性繫結**: FNV-1a 加權雜湊把同一呼叫方粘定到一把 key，失敗換下一把未試 key；weight=0 備用。
- **三種計費模式 + 多幣種**: Token / 按次 / 按時長 + USD/CNY/EUR/JPY/GBP + 自訂維度。LiteLLM 僅按 token 追蹤。
- **上游 SSO 憑證登入**: 可接入無靜態 key 的廠商（如 Kiro）。LiteLLM 僅支援靜態 API key。
- **能力後設資料登錄檔**: 驅動自動注入與降級；新模型能力漂移免改程式碼。
- **LTS 長期支援分支**: N-1 + LTS 分支（見 /lifecycle）。LiteLLM 僅支援最近 4 個 minor 線。

### 雙方都做得到
共同的基準 —— 選哪個都能覆蓋這一層。決定在上下兩層。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| API 路由 · fallback · 負載平衡 | ✓ | ✓ |
| BYOK 無 token 加價 | ✓ | ✓ |
| 全私有化部署 / 資料不出內網 | ✓ | ✓ |
| Tool Calling 跨廠商正規化 | ✓ | ✓ |
| 結構化輸出（JSON Schema）正規化 | ✓ | ✓ |
| 推理 token（thinking）正規化 | ✓ | ✓ |
| 跨模型 Prompt 快取 | ✓ | ✓ |
| 聯網搜尋注入 | ✓ | ✓ |
| MCP 閘道器（工具聚合） | ✓ | ✓ |
| 視覺化控制台 | ✓ | ✓ |
| 稽核日誌與用量 / 成本核算 | ✓ | ✓ |

### 形態不同之處
不是誰更好 —— 機制與打包方式不同，值得你直接權衡。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 執行形態 | 單 Rust 二進位執行檔 · 無 GC 停頓 | Python 程式 + 依賴棧 |
| 協議翻譯面 | 15 種協議形態；四大對話協議族（OpenAI / Anthropic / Gemini / DashScope）任意 A→B，其餘按互通矩陣配對 | 以 OpenAI 相容為中心 + 若干相容端點 |
| 原生協議入口 | /v1/messages + count_tokens、Gemini generateContent、/v1beta/cachedContents CRUD、/v1/realtime、/mcp —— 一個閘道器原生承接各種 SDK | OpenAI 相容端點（加若干相容變體） |
| Prompt 快取深度 | OpenAI 協議呼叫自動注入斷點 + 跨協議翻譯 + Google cachedContent 去重 | 透通 cache_control，正規化 usage |
| 日誌隱私預設值 | 請求日誌預設不寫入資料庫 · 日誌正文在每個出口面脫敏，檢視原文需 admin 且進稽核 · 預設留存 7 天 | 請求/回應日誌預設開啟；脫敏走 guardrails |
| 設定形態 | 全控制台 —— 免 YAML，改完即時生效 | 以 config.yaml 為中心 |
| 企業 SSO 與 SCIM 打包方式 | OIDC + SAML 2.0 + SCIM 打包進按執行個體固定授權，不按席位收費 | OSS 的 SSO 限 5 使用者內；SCIM 需用量計價的企業版 |
| 授權形態 | 按執行個體 / 記憶體固定，不按席位、不加 token 費 | OSS 免費；企業版按用量 |
| 支援 SLA | 固定授權內即含優先回應 | 標準檔無回應時限承諾；24/7 SLA 為加價項（Sev0 1h / Sev1 6h） |
| 端點覆蓋 | Chat / Realtime / MCP 核心端點 | 另有 /batches、/files、/fine_tuning、/vector_stores、/videos、/containers |
| 第三方生態 | 內建日誌 / Prometheus / OTel —— 標準協議直出，不綁單一廠商；金鑰與 PII 識別內建在閘道器裡，不依賴第三方引擎 | AWS KMS / Vault / CyberArk secret manager；Presidio PII guardrails；Langfuse / Langsmith / Arize 可觀測 |

已對照各產品官方文件核實（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企業版授權；細節可能漂移，採購前請以官方源為準。

## 其他對比
- [OpenRouter](https://www.gatellm.io/zh-TW/compare/openrouter.md)
- [Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-TW/compare/alibaba-cloud.md)
- [Azure API Management](https://www.gatellm.io/zh-TW/compare/azure-apim.md)
- [Apigee](https://www.gatellm.io/zh-TW/compare/apigee.md)
- [Cloudflare AI Gateway](https://www.gatellm.io/zh-TW/compare/cloudflare.md)
- [Kong AI Gateway](https://www.gatellm.io/zh-TW/compare/kong.md)
- [Portkey (Prisma AIRS)](https://www.gatellm.io/zh-TW/compare/portkey.md)

## 相關頁面
- [首頁](https://www.gatellm.io/zh-TW/index.md)
- [定價](https://www.gatellm.io/zh-TW/pricing.md)
- [成本計算器](https://www.gatellm.io/zh-TW/calculator.md)
- [關於](https://www.gatellm.io/zh-TW/about.md)
- [預約示範](https://www.gatellm.io/zh-TW/demo.md)
- [常見問題](https://www.gatellm.io/zh-TW/faq.md)
- [比較 AI 閘道](https://www.gatellm.io/zh-TW/compare.md)
- [比較 OpenRouter](https://www.gatellm.io/zh-TW/compare/openrouter.md)
- [比較 Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-TW/compare/alibaba-cloud.md)
- [比較 Azure API Management](https://www.gatellm.io/zh-TW/compare/azure-apim.md)
- [比較 Apigee](https://www.gatellm.io/zh-TW/compare/apigee.md)
- [比較 Cloudflare AI Gateway](https://www.gatellm.io/zh-TW/compare/cloudflare.md)
- [比較 Kong AI Gateway](https://www.gatellm.io/zh-TW/compare/kong.md)
- [比較 Portkey](https://www.gatellm.io/zh-TW/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-portkey.md)
- [場景方案](https://www.gatellm.io/zh-TW/use-cases.md)
- [降低呼叫成本](https://www.gatellm.io/zh-TW/use-cases/reduce-cost.md)
- [達成高可用](https://www.gatellm.io/zh-TW/use-cases/high-availability.md)
- [多租戶隔離](https://www.gatellm.io/zh-TW/use-cases/multi-tenant.md)
- [合規與稽核](https://www.gatellm.io/zh-TW/use-cases/compliance-audit.md)
- [從症狀排障](https://www.gatellm.io/zh-TW/use-cases/troubleshooting.md)
- [混合多供應商模型堆疊](https://www.gatellm.io/zh-TW/use-cases/mixed-model-stack.md)
- [在 Office 內自架 AI](https://www.gatellm.io/zh-TW/use-cases/self-hosted-office-ai.md)
- [Token 用量可見性與歸因](https://www.gatellm.io/zh-TW/use-cases/token-ops.md)
- [Token FinOps: AI 支出分攤與管控](https://www.gatellm.io/zh-TW/use-cases/token-finops.md)
- [MCP 工具治理](https://www.gatellm.io/zh-TW/use-cases/mcp-tool-governance.md)
- [為所有模型統一加入網路搜尋](https://www.gatellm.io/zh-TW/use-cases/web-search-grounding.md)
- [多 Key 輪替與備援](https://www.gatellm.io/zh-TW/use-cases/multi-key-pooling.md)
- [限制接入的用戶端](https://www.gatellm.io/zh-TW/use-cases/client-admission-control.md)
- [強制模型使用政策](https://www.gatellm.io/zh-TW/use-cases/enforce-model-policy.md)
- [用戶端不暴露模型選擇](https://www.gatellm.io/zh-TW/use-cases/automatic-model-tiering.md)
- [一種協定,任何模型](https://www.gatellm.io/zh-TW/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 增益集](https://www.gatellm.io/zh-TW/office-addin.md)
- [術語表](https://www.gatellm.io/zh-TW/glossary.md)
- [模型目錄](https://www.gatellm.io/zh-TW/models.md)
- [SDK 與框架整合](https://www.gatellm.io/zh-TW/integrations.md)
- [AI Coding Agent 與 Harness](https://www.gatellm.io/zh-TW/coding-agents.md)
- [安全性與合規](https://www.gatellm.io/zh-TW/security.md)