GateLLM vs LiteLLM
一份可溯源的對等對比。有些機制只有 GateLLM 具備、LiteLLM 沒有 —— 條件模型切換、跨協議混用、原子設定提交；雙方共享一份共同的基準；少數幾項是形態不同。
對比表
只有 GateLLM 做得到
LiteLLM 沒有的機制 —— 每項能力下方用一行說明「怎麼做到的」。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| 條件模型切換控制台宣告式 switch-route 規則 + 內建 plan 模式檢測 + context.useModel() 指令碼 —— 客戶端零改動。LiteLLM 需自寫 Python callback。 | 支援 | 不支援 |
| 跨協議模型 / SDK 混用原生任意 A→B 入口 —— 用 Anthropic SDK 調 GPT、用 Gemini SDK 調 DeepSeek。LiteLLM 以 OpenAI 為中心，反向走相容轉接層。 | 支援 | 不支援 |
| 單事務設定提交暫存 → 預覽完整衝突集 → 原子提交，任一衝突整批復原。 | 支援 | 不支援 |
| 成本配額硬閘日 / 月雙週期到頂即返回 429 quota_exceeded。LiteLLM 只有預算告警。 | 支援 | 不支援 |
| 當機安全計費預扣 → 結算 → 退款 + in-flight 臺帳 —— 程式當機後帳目仍正確。 | 支援 | 不支援 |
| 上游 key 池加權 + 粘性繫結FNV-1a 加權雜湊把同一呼叫方粘定到一把 key，失敗換下一把未試 key；weight=0 備用。 | 支援 | 不支援 |
| 三種計費模式 + 多幣種Token / 按次 / 按時長 + USD/CNY/EUR/JPY/GBP + 自訂維度。LiteLLM 僅按 token 追蹤。 | 支援 | 不支援 |
| 上游 SSO 憑證登入可接入無靜態 key 的廠商（如 Kiro）。LiteLLM 僅支援靜態 API key。 | 支援 | 不支援 |
| 能力後設資料登錄檔驅動自動注入與降級；新模型能力漂移免改程式碼。 | 支援 | 不支援 |
| LTS 長期支援分支N-1 + LTS 分支（見 /lifecycle）。LiteLLM 僅支援最近 4 個 minor 線。 | 支援 | 不支援 |
雙方都做得到
共同的基準 —— 選哪個都能覆蓋這一層。決定在上下兩層。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| API 路由 · fallback · 負載平衡 | 支援 | 支援 |
| BYOK 無 token 加價 | 支援 | 支援 |
| 全私有化部署 / 資料不出內網 | 支援 | 支援 |
| Tool Calling 跨廠商正規化 | 支援 | 支援 |
| 結構化輸出（JSON Schema）正規化 | 支援 | 支援 |
| 推理 token（thinking）正規化 | 支援 | 支援 |
| 跨模型 Prompt 快取 | 支援 | 支援 |
| 聯網搜尋注入 | 支援 | 支援 |
| MCP 閘道器（工具聚合） | 支援 | 支援 |
| 視覺化控制台 | 支援 | 支援 |
| 稽核日誌與用量 / 成本核算 | 支援 | 支援 |
形態不同之處
不是誰更好 —— 機制與打包方式不同，值得你直接權衡。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| 執行形態 | 單 Rust 二進位執行檔 · 無 GC 停頓 | Python 程式 + 依賴棧 |
| 協議翻譯面 | 15 種協議形態；四大對話協議族（OpenAI / Anthropic / Gemini / DashScope）任意 A→B，其餘按互通矩陣配對 | 以 OpenAI 相容為中心 + 若干相容端點 |
| 原生協議入口 | /v1/messages + count_tokens、Gemini generateContent、/v1beta/cachedContents CRUD、/v1/realtime、/mcp —— 一個閘道器原生承接各種 SDK | OpenAI 相容端點（加若干相容變體） |
| Prompt 快取深度 | OpenAI 協議呼叫自動注入斷點 + 跨協議翻譯 + Google cachedContent 去重 | 透通 cache_control，正規化 usage |
| 日誌隱私預設值 | 請求日誌預設不寫入資料庫 · 日誌正文在每個出口面脫敏，檢視原文需 admin 且進稽核 · 預設留存 7 天 | 請求/回應日誌預設開啟；脫敏走 guardrails |
| 設定形態 | 全控制台 —— 免 YAML，改完即時生效 | 以 config.yaml 為中心 |
| 企業 SSO 與 SCIM 打包方式 | OIDC + SAML 2.0 + SCIM 打包進按執行個體固定授權，不按席位收費 | OSS 的 SSO 限 5 使用者內；SCIM 需用量計價的企業版 |
| 授權形態 | 按執行個體 / 記憶體固定，不按席位、不加 token 費 | OSS 免費；企業版按用量 |
| 支援 SLA | 固定授權內即含優先回應 | 標準檔無回應時限承諾；24/7 SLA 為加價項（Sev0 1h / Sev1 6h） |
| 端點覆蓋 | Chat / Realtime / MCP 核心端點 | 另有 /batches、/files、/fine_tuning、/vector_stores、/videos、/containers |
| 第三方生態 | 內建日誌 / Prometheus / OTel —— 標準協議直出，不綁單一廠商；金鑰與 PII 識別內建在閘道器裡，不依賴第三方引擎 | AWS KMS / Vault / CyberArk secret manager；Presidio PII guardrails；Langfuse / Langsmith / Arize 可觀測 |
已對照各產品官方文件核實（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企業版授權；細節可能漂移，採購前請以官方源為準。
差異化機制怎麼運作
每項 GateLLM 差異化都是可落地的機制,不是行銷話術。下面說明它底層怎麼實現,以及 LiteLLM 對應做了什麼。
協議 any-to-any 互譯
GateLLM: 15 種協議形態;四大對話協議族(OpenAI / Anthropic / Gemini / DashScope)任意 A→B,其餘按互通矩陣配對。入口 A → 出口 B,零膠水程式碼。
競品缺口: 以 OpenAI 相容信封為中心 —— 非 OpenAI SDK 走相容轉接層,跨廠商格式漂移需逐個模型適配。
協議互通矩陣(docs 站) →快取斷點自動注入
GateLLM: OpenAI 協議呼叫自動注入快取斷點、跨協議映射快取語義、去重 Google cachedContent。
競品缺口: 透通 cache_control、正規化 usage —— 無閘道器側斷點注入或跨協議快取映射。
單事務設定提交
GateLLM: 暫存 → 預覽完整名稱空間衝突集 → 原子提交,任一衝突整批復原。
競品缺口: config.yaml 熱重載,無衝突預覽、無原子復原 —— 半應用狀態需人工收拾。
日誌預設不寫入資料庫
GateLLM: 請求日誌預設關閉、日誌正文在每個出口面脫敏（檢視原文需 reveal=true + admin 角色，且被稽核、被計數）、預設留存 7 天。
競品缺口: 請求/回應日誌預設開啟;脫敏須走 guardrails 主動開啟。
三種計費模式 + 多幣種
GateLLM: Token / 按次 / 按時長計費,USD/CNY/EUR/JPY/GBP 多幣種、自訂定價維度、pinned 私有價。
競品缺口: 僅按 token 的花費追蹤 —— 無按次/按時長模式或多幣種價卡。
單 Rust 二進位執行檔無 GC
GateLLM: 單個靜態連結二進位執行檔、無垃圾回收 —— 亞毫秒級閘道器開銷。
競品缺口: Python 程式 + 完整依賴棧;持續高並行下有 GC 停頓。
沙箱指令碼引擎
GateLLM: QuickJS 引擎,請求側 before / after 雙 slot + 回應側 slot;context.useModel() 整體換路由(base_url、協議、憑證);控制台內建測試入口 + json_path / str_* / regex_* 等內建函式。
競品缺口: 僅 Python callback / hook —— 無閘道器側沙箱、無譯前/譯後 slot、無控制台測試迴圈。
指令碼 API(docs 站) →從 LiteLLM 遷移
把 OpenAI SDK 的 base_url 指向 GateLLM 即可,其餘程式碼不用改。你現有的 BYOK 金鑰、路由策略可平移到閘道器,再按需啟用分級模型路由 / 分模式治理。
- 1把 OpenAI SDK 的 base_url 指向 GateLLM(帶 /v1)—— 只改一行,其餘程式碼不動。
- 2把現有各廠商 API Key 配進控制台(BYOK)—— 金鑰僅存閘道器記憶體,不寫入資料庫。
- 3在控制台重建路由 / fallback / 負載平衡策略 —— 1:1 平移。
- 4分級模型路由或指令碼轉換按需再開;先讓基準跑起來,別一步到位。
授權 vs LiteLLM
GateLLM 是 BYOK 私有化授權 —— 按執行個體 / 記憶體收費,永不加收 Token 費用。LiteLLM OSS 免費但 SSO 限 5 使用者內;其企業版按用量定價,24/7 SLA 為加價項。
成本與授權結構
- •GateLLM:按執行個體固定授權(Pro 2GB $400/月)—— 不按席位、不加 token 費、無用量型費用。
- •LiteLLM OSS:免費、可自託管;SSO 5 使用者內免費。
- •LiteLLM 企業版:按用量定價(需詢價);24/7 SLA 與若干 guardrails 為付費加購項。
- •高用量下固定授權讓成本與用量脫鉤 —— 用量翻倍,授權費不變。
何時選誰
選 LiteLLM,如果…
你要一個成熟、社群龐大的 OSS 代理,能接受 config.yaml,且需求落在免費檔內 —— 或你需要其企業版獨有功能(secret manager 整合、guardrail 回呼、自動同步模型定價、多區域 admin/worker 分離)並接受按用量付費。
選 GateLLM,如果…
你要單自託管二進位執行檔、原生多協議入口(Anthropic / Gemini / Bedrock / Realtime)、日誌預設不寫入資料庫的資料路徑、單事務設定提交、當機安全計費 + 成本配額硬閘,以及用量增長時保持不變的固定授權。
兩者可共存
LiteLLM 做快速實驗、GateLLM 做合規生產閘道器 —— 兩者都講 OpenAI,SDK 切換任一方向都只是一行。
FAQ
2026-09-04 對照 docs.litellm.ai 與 docs.gatellm.io 核實。功能與費率會漂移,採購前請以官方源為準。