GateLLM vs Kong AI Gateway
一份可溯源的對等對比。Kong AI Gateway 在開源 Kong API 閘道器之上疊加 60+ AI 外掛；GateLLM 是專為 AI 構建的自託管閘道器。差異在執行時、協議入口與設定表達方式。
對比表
只有 GateLLM 做得到
Kong 沒有的機制 —— 每項能力下方用一行說明「怎麼做到的」。Kong 完全可自建，故此段本就刻意偏薄。
| 能力 | GateLLM | Kong AI Gateway |
|---|---|---|
| 原生多協議入口混用四種原生入口（OpenAI / Anthropic / Gemini / DashScope）任意 A→B。Kong 的 AI Proxy 把 provider 正規化為統一路由。 | 支援 | 不支援 |
| 條件模型切換（內建 plan-mode 檢測）控制台宣告式 switch-route + 內建 plan 模式檢測 + useModel 指令碼。Kong 走 AI Proxy Advanced 規則（語義路由為企業版門控），無 plan 模式感知。 | 支援 | 不支援 |
雙方都做得到
共同的基準 —— 選哪個都能覆蓋這一層。決定在上下兩層。
| 能力 | GateLLM | Kong AI Gateway |
|---|---|---|
| 多模型路由 · fallback | 支援 | 支援 |
| 跨廠商負載平衡 | 支援 | 支援 |
| Token 用量與成本計量 | 支援 | 支援 |
| 限流與配額 | 支援 | 支援 |
| 多 API Key 管理 | 支援 | 支援 |
| MCP 工具接入 | 支援 | 支援 |
| 視覺化控制台 | 支援 | 支援 |
| 稽核日誌 | 支援 | 支援 |
形態不同之處
不是誰更好 —— 執行時、打包與設定模型不同，值得你直接權衡。
| 能力 | GateLLM | Kong AI Gateway |
|---|---|---|
| 執行形態 | 單 Rust 二進位執行檔 · 無 GC 停頓 | Nginx/OpenResty + Lua 外掛 |
| 定價 | 按執行個體固定授權，功能全含 | 開源（Apache 2.0）；語義路由 / 安全外掛為企業版門控 |
| 設定形態 | 全控制台 —— 免 YAML，原子提交 | decK 或 Konnect 宣告式 YAML |
| 定位 | 專為 AI 構建的閘道器 | 通用 API 閘道器 + AI 外掛 |
| 維運形態 | 閘道器要自己跑 | 自託管或託管（Konnect） |
已對照官方文件核實（2026-09-06，developer.konghq.com / docs.gatellm.io）。功能與定價會漂移，採購前請以官方源為準。
差異化機制怎麼運作
每項 GateLLM 差異化都是可落地的機制,不是行銷話術。下面說明它底層怎麼實現,以及 Kong 對應做了什麼。
原生多協議入口混用
GateLLM: 四種原生入口(OpenAI / Anthropic / Gemini / DashScope)任意 A→B —— 一個閘道器原生承接各種 SDK。
競品缺口: AI Proxy 外掛把 provider 正規化為統一路由;非 OpenAI SDK 走相容路徑。
plan 模式模型切換
GateLLM: 控制台宣告式 switch-route + 內建 Claude Code plan 模式檢測 + useModel 指令碼 —— 規劃走頂尖模型、執行走開源 SOTA,客戶端零改動。
競品缺口: AI Proxy Advanced 規則,無 plan 模式感知(語義路由為企業版門控)。
從 Kong AI Gateway 遷移
把 SDK 的 base_url 指向 GateLLM 即可,其餘程式碼不用改。你現有的模型金鑰、路由策略可平移到閘道器,再按需啟用 plan 模式切換。
- 1把 OpenAI SDK 的 base_url 指向 GateLLM(帶 /v1)—— 只改一行,其餘程式碼不動。
- 2把各模型廠商 API Key 配進控制台(BYOK)—— 金鑰僅存閘道器記憶體,不寫入資料庫。
- 3在控制台重建路由 / fallback 策略 —— 1:1 平移。
固定授權,功能全含
GateLLM 是單 Rust 二進位執行檔,固定授權內功能全含。Kong 開源(Apache 2.0),但語義路由與安全外掛為企業版門控。
成本結構
- •GateLLM:按執行個體固定授權(Pro 2GB $400/月)—— 功能全含,無外掛門控。
- •Kong:開源版免費;語義路由 / 語義安全外掛需企業版。
- •高用量下固定授權不變;Kong 企業版定價需協商。
何時選誰
選 Kong,如果…
你已用 Kong 做 API 管理,想擴展到 AI 流量,並接受 decK YAML 與外掛設定。
選 GateLLM,如果…
你要專為 AI 構建的閘道器:單 Rust 二進位執行檔、原生多協議入口、plan 模式切換,以及無外掛門控的固定授權。
兩者可共存
Kong 管通用 API 流量,GateLLM 專管模型流量,各司其職。
FAQ
2026-09-06 對照 developer.konghq.com 與 docs.gatellm.io 核實。功能與定價會漂移,採購前請以官方源為準。