# AI 閘道器 FAQ - GateLLM

> AI 閘道器常見問題:比直連 OpenAI 便宜嗎?需要閘道器嗎?廠商當機怎麼辦?和轉接服務/聚合商有何區別?中國大陸能用嗎?GateLLM 自託管 BYOK 閘道器解答。

規範連結: https://www.gatellm.io/zh-TW/faq/

## AI 閘道器常見問題
關於 AI gateway / LLM gateway / LLM proxy 選型、成本、可靠性與合規的真實問題解答。
以下問題彙總自 Reddit、StackOverflow、知乎等社群裡開發者與架構師對 AI 閘道器最常問的關切 —— 成本、故障切換、延遲、轉接服務風險、中國大陸合規、tool calling 相容、多 SDK 接入、MCP 工具、Bedrock 上游、Realtime 語音、多租戶隔離等。GateLLM 是自託管、BYOK 的企業級多模型閘道器:金鑰僅存記憶體、請求直達廠商官方 API、按執行個體授權不加 token 費。
### 用 AI 閘道器比直接調 OpenAI / Anthropic 便宜嗎?

前提是閘道器按執行個體授權而非加收 token 費。GateLLM 按 2GB 執行個體授權(Pro $400/月),永不加收 token 費、不收平台費或支付手續費,你直接向廠商付標準價。真正的省錢來自組合(Composition):規劃用 Claude Opus、執行用 GLM / Qwen / DeepSeek,成本約 1/7。SaaS 聚合商通常加收約 5–8% 平台費 + 支付費,量大時是隱性成本。
### 我到底需不需要 AI 閘道器,還是直接調廠商 API?

誠實標準:單 provider、單團隊、無合規硬約束、月費可控 —— 直接調 API 更簡單,不需要閘道器。當出現多 provider 故障切換、多團隊成本歸因、合規 / 資料不外流、或成本失控需要即時可見時,閘道器才開始回本。別在真正需要之前引入。
### AI 閘道器怎麼處理廠商當機(如 OpenAI 503)?

單 provider 直連即單點故障,廠商一宕全線掛。GateLLM 支援跨廠商 fallback:主廠商 5xx / 逾時自動切到備選 provider,業務程式碼不用改。另一回事:對更高風險的呼叫,可在你的編排層(如 GitHub Actions 並行審查)跑多模型程式碼評審 —— 閘道器提供協議互通,讓多個模型交叉核對同一請求。
### AI 閘道器會加多少延遲?

SaaS 閘道器多一跳對外網路往返。GateLLM 自託管在你的 VPC 內,到廠商 API 的額外跳是本機行程間通訊,亞毫秒級開銷,流式首 token 延遲幾乎不受影響。
### 閘道器能把簡單請求自動路由到便宜模型嗎?

可以。GateLLM 的組合支援分模式治理:管理員鎖定 plan / execute 檔位 —— 規劃走頂尖閉源模型、執行走開源 SOTA,約 14% 成本拿約 97% 能力;也可按 token 數 / 複雜度分類路由,杜絕全程只用最貴模型。
### AI 閘道器會破壞流式回應(SSE)或 tool calling 嗎?

劣質代理會:緩衝流式回應、破壞 tool_calls 的 JSON 分片,或不同廠商 tool calling 格式不相容。GateLLM 原生流式透通不緩衝,並做能力正規化 —— 把 tool calling、結構化輸出、prompt 快取、推理 token 等七個跨廠商耦合點統一為單一介面,跨廠商模型混搭不會因格式差異踩雷。
### GateLLM 和 AI 轉接服務(映像 / 轉發服務)有什麼區別?

轉接服務把你的請求經它轉發,你的 prompt、金鑰、輸出都暴露給它,且有降智 / 投毒 / 跑路風險(CISPA 研究實測 45.83% 的模型指紋測試出現身份驗證失敗,arxiv.org/abs/2603.01919)。GateLLM 是 BYOK 自託管:金鑰僅存閘道器記憶體不寫入資料庫不外傳,請求經閘道器直達廠商官方 API,不經任何第三方 —— 沒有「假模型 / 降智 / 跑路」的空間。
### 中國大陸能用 GateLLM 接陸系模型並滿足資料不出境嗎?

可以。GateLLM 全私有化部署在你內網,資料全程不外流,滿足資料出境合規;原生支援 DashScope 協議接入通義 / 智譜 / DeepSeek / 豆包等陸系模型;閉源模型走組合降量,減少跨境呼叫。
### 怎麼即時追蹤 AI 成本並和廠商帳單對帳?

月帳單太晚。GateLLM 的 Token Ops 做請求級成本歸因 —— 按團隊 / agent / 模型 / 客戶端歸因,即時可見 burn rate,可設 per-agent 預算上限真的能中斷呼叫。crash-safe 計費(pre-deduct → settle → refund)保證程式當機也計費正確;Management API 可匯出對帳資料接入內部計費系統。
### 怎麼確認閘道器調的是真模型,而不是被換成便宜的?

用 SaaS 聚合商時你只能信任它的承諾 —— 沒有密碼學驗證能保證它沒悄悄換成小模型賺差價(OpenRouter 自己也不做模型身份驗證)。GateLLM 是 BYOK 自託管:你用自己的金鑰、請求從你的閘道器直達廠商官方 API endpoint,模型身份由廠商 API 本身保證,中間無任何可替換環節。
### GateLLM 相容 OpenAI SDK 嗎?怎麼遷移?

相容。把 OpenAI SDK 的 base_url 指向 GateLLM(帶 /v1),其餘程式碼不用改,即可用統一介面呼叫所有模型。改一個 base_url 完成遷移 —— 無功能分叉、無代理封裝,你的 OpenAI 客戶端直連廠商等價的統一入口。
### 團隊裡 OpenAI / Anthropic / Google 三家 SDK 都在用,要分別接嗎?

不用,一個閘道器全接。OpenAI SDK 的 base_url 指向閘道器(帶 /v1);Anthropic SDK 填閘道器根地址(SDK 自動拼 /v1/messages,金鑰走 x-api-key 頭);Google Gemini SDK 直連(金鑰走 x-goog-api-key 頭)。閘道器入口四種 + 出口四種(OpenAI / Anthropic / Gemini / DashScope)協議雙向互譯 —— 客戶端協議與上游協議可以不同:用 OpenAI SDK 調 Claude、用 Anthropic SDK 調 GPT、用 Gemini SDK 調 DeepSeek,都由閘道器自動翻譯,業務程式碼零改動;Cherry Studio 等第三方客戶端走 OpenAI 相容入口即可。詳見 docs.gatellm.io 的 reference/protocol-matrix 協議互通矩陣。
### 能接 AWS Bedrock 上的模型嗎?

可以。Bedrock 作為上游接入(aws_converse / aws_invoke 協議,填 Bedrock API key 與區域 runtime 端點,支援 inference profile),客戶端繼續用 OpenAI / Anthropic / Gemini SDK,閘道器自動做協議翻譯。Bedrock 上的 Claude / GLM 等模型可與直連廠商的模型混進同一個路由 / 負載平衡器,統一治理。
### GateLLM 支援 MCP(Model Context Protocol)工具嗎?

支援。閘道器內建 MCP 代理:把多個外部 MCP 工具伺服器(streamable HTTP / SSE)聚合成統一 /mcp 入口,Claude Desktop 等任意 MCP 客戶端用一把閘道器金鑰即可呼叫;按金鑰組配工具級 ACL 與上下文預算,工具多時內建 BM25 檢索定位。工具呼叫的准入、限流、稽核與模型流量走同一套治理。
### 支援語音即時會話(Realtime API)嗎?

支援。閘道器提供 /v1/realtime WebSocket 橋接(OpenAI Realtime 與 DashScope Realtime 協議),語音對話等長連線會話與 HTTP 流量並行:同一套金鑰認證與准入,按輪(response.create → response.done)計入與 HTTP 相同的統計 / 帳單 / 日誌管線,成本口徑一致。
### 怎麼在一個閘道器裡隔離多個團隊 / 租戶?

五層組合:金鑰組劃定各租戶可達的模型與負載平衡器;存取金鑰 + Header ACL 按請求標頭區分客戶端;身份作用域模型映射讓同一模型名按租戶路由到不同上游;每金鑰 RPM / 並行 / TPM 限流控用量;請求級成本按金鑰歸因,各租戶只見自己的用量與費用。詳見 docs.gatellm.io 的 usecases/multi-tenant-isolation 多租戶隔離方案。
### 開源模型沒有聯網搜尋能力,閘道器能統一補嗎?

可以。GateLLM 在閘道器層做搜尋劫持:設定搜尋引擎(serper,控制台行內可測)後,按模型三態開關(跟隨能力宣告 / 強制開 / 強制關)注入聯網搜尋結果,並按客戶端協議合成原生搜尋塊(Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call)——開源模型也能獲得 search grounding。搜尋失敗全降級不阻塞請求,劫持搜尋不計入用量計費。詳見 docs.gatellm.io 的 console/search 聯網搜尋設定。
### 一個廠商有多個 API Key,閘道器能輪詢嗎?key 被限流怎麼辦?

可以。單個上游可配多把 API Key 按權重分流:確定性加權雜湊(FNV-1a)把同一呼叫方粘性繫結到同一把 key(快取親和),某把 key 失敗時在該上游內輪換到下一把未試過的 key 重試;weight=0 的 key 作備用,僅當所有 weight>0 的 key 都失敗後才啟用。繫結狀態在控制台逐行可觀測。詳見 docs.gatellm.io 的 reference/upstreams-models-fields 多金鑰與權重。
### 自部署的開源模型(vLLM / Ollama)能接進閘道器嗎?

可以。任何 OpenAI 相容端點都能作為上游接入:填自訂基礎 URL 即可,vLLM / Ollama / TGI 等自部署推理服務與雲端廠商模型統一治理。出站代理(socks5 / http)、自訂請求標頭、per-upstream DNS 均可配,滿足內網與特殊網路拓撲。
### 閘道器設定要寫 YAML 嗎?有沒有視覺化控制台?

不用寫 YAML。GateLLM 自帶視覺化控制台:上游 / 模型 / 負載平衡 / 存取控制 / MCP / 統計 / 日誌全部 GUI 設定,中英雙語即時切換;批次變更走「暫存 → 預覽(名稱空間衝突全集)→ 原子提交」,任一衝突整批復原。控制台帳號分 admin / monitor(只讀) 角色,操作與登入全部留痕稽核。
### GateLLM 和 LiteLLM 有什麼區別?

LiteLLM 是優秀的開源 LLM 代理。GateLLM 與 LiteLLM 共享能力基準(路由、tool calling、結構化輸出、快取、OIDC + SAML 2.0 + SCIM SSO)。GateLLM 的差異化在單 Rust 二進位執行檔、15 種協議形態(四大對話協議族任意 A→B,其餘按互通矩陣配對)、閘道器側快取自動注入與免 YAML 控制台;LiteLLM 在企業生態(secret manager、第三方 guardrail 回呼、可觀測回呼)更強。詳見 /compare/litellm。
### GateLLM 支援 VPC 部署、SSO 和稽核日誌嗎?

支援。全私有化部署在你 VPC;BYOK 金鑰僅記憶體不寫入資料庫;企業 SSO(OIDC:Azure AD / Okta / 通用 OIDC,另含 SAML 2.0 與 SCIM 2.0 自動佈建);請求級稽核日誌可匯出;GDPR 就緒;SOC 2 Type II / ISO 27001 控制對齊(認證準備中)。詳見 /security。
### 我和廠商談下來的折扣價 / 私有價格,怎麼錄進閘道器算成本?

在控制台「設定 → 計費」為模型手動新建價格快照,來源標記為 pinned(黃色徽章)。pinned 價因時間更新成為目前生效價,遮蔽其下的 auto 基準價,系統自動重新整理會跳過該模型、不覆寫你的手動價;刪除 pinned 後自動退回次新的 auto 行並自愈。
### 模型中途降價,歷史月份的成本會被改髒嗎?

不會。價格快照按 created_at 排序,每條只覆蓋 [自身時間, 下一條時間) 區間 —— 最早那條向前回填歷史、最新那條向後無限延伸。新建一條快照並把生效時間設到未來,即可預設降價生效日,只影響之後的月份;也可回填歷史價補錄過去月份的準確成本。
### 怎麼按天 / 按月卡住某個 key 或某個團隊的花費?

給存取金鑰設日度 / 月度費用配額(USD 金額),UTC 自然日、自然月兩個獨立週期分別判定,任一觸頂即返回 429 quota_exceeded 並停止服務(日度視窗帶 Retry-After)。配額按金鑰 → 金鑰組 → 全域三層繼承,組限 = 組內每個 key 各自上限(非共享總帳),多組取最寬。
沒看到你的問題?聯絡我們。

## 相關頁面
- [首頁](https://www.gatellm.io/zh-TW/index.md)
- [定價](https://www.gatellm.io/zh-TW/pricing.md)
- [成本計算器](https://www.gatellm.io/zh-TW/calculator.md)
- [關於](https://www.gatellm.io/zh-TW/about.md)
- [預約示範](https://www.gatellm.io/zh-TW/demo.md)
- [比較 AI 閘道](https://www.gatellm.io/zh-TW/compare.md)
- [比較 LiteLLM](https://www.gatellm.io/zh-TW/compare/litellm.md)
- [比較 OpenRouter](https://www.gatellm.io/zh-TW/compare/openrouter.md)
- [比較 Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-TW/compare/alibaba-cloud.md)
- [比較 Azure API Management](https://www.gatellm.io/zh-TW/compare/azure-apim.md)
- [比較 Apigee](https://www.gatellm.io/zh-TW/compare/apigee.md)
- [比較 Cloudflare AI Gateway](https://www.gatellm.io/zh-TW/compare/cloudflare.md)
- [比較 Kong AI Gateway](https://www.gatellm.io/zh-TW/compare/kong.md)
- [比較 Portkey](https://www.gatellm.io/zh-TW/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-portkey.md)
- [場景方案](https://www.gatellm.io/zh-TW/use-cases.md)
- [降低呼叫成本](https://www.gatellm.io/zh-TW/use-cases/reduce-cost.md)
- [達成高可用](https://www.gatellm.io/zh-TW/use-cases/high-availability.md)
- [多租戶隔離](https://www.gatellm.io/zh-TW/use-cases/multi-tenant.md)
- [合規與稽核](https://www.gatellm.io/zh-TW/use-cases/compliance-audit.md)
- [從症狀排障](https://www.gatellm.io/zh-TW/use-cases/troubleshooting.md)
- [混合多供應商模型堆疊](https://www.gatellm.io/zh-TW/use-cases/mixed-model-stack.md)
- [在 Office 內自架 AI](https://www.gatellm.io/zh-TW/use-cases/self-hosted-office-ai.md)
- [Token 用量可見性與歸因](https://www.gatellm.io/zh-TW/use-cases/token-ops.md)
- [Token FinOps: AI 支出分攤與管控](https://www.gatellm.io/zh-TW/use-cases/token-finops.md)
- [MCP 工具治理](https://www.gatellm.io/zh-TW/use-cases/mcp-tool-governance.md)
- [為所有模型統一加入網路搜尋](https://www.gatellm.io/zh-TW/use-cases/web-search-grounding.md)
- [多 Key 輪替與備援](https://www.gatellm.io/zh-TW/use-cases/multi-key-pooling.md)
- [限制接入的用戶端](https://www.gatellm.io/zh-TW/use-cases/client-admission-control.md)
- [強制模型使用政策](https://www.gatellm.io/zh-TW/use-cases/enforce-model-policy.md)
- [用戶端不暴露模型選擇](https://www.gatellm.io/zh-TW/use-cases/automatic-model-tiering.md)
- [一種協定,任何模型](https://www.gatellm.io/zh-TW/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 增益集](https://www.gatellm.io/zh-TW/office-addin.md)
- [術語表](https://www.gatellm.io/zh-TW/glossary.md)
- [模型目錄](https://www.gatellm.io/zh-TW/models.md)
- [SDK 與框架整合](https://www.gatellm.io/zh-TW/integrations.md)
- [AI Coding Agent 與 Harness](https://www.gatellm.io/zh-TW/coding-agents.md)
- [安全性與合規](https://www.gatellm.io/zh-TW/security.md)