AI 閘道器常見問題

前提是閘道器按執行個體授權而非加收 token 費。GateLLM 按 2GB 執行個體授權(Pro $400/月),永不加收 token 費、不收平台費或支付手續費,你直接向廠商付標準價。真正的省錢來自組合(Composition):規劃用 Claude Opus、執行用 GLM / Qwen / DeepSeek,成本約 1/7。SaaS 聚合商通常加收約 5–8% 平台費 + 支付費,量大時是隱性成本。

誠實標準:單 provider、單團隊、無合規硬約束、月費可控 —— 直接調 API 更簡單,不需要閘道器。當出現多 provider 故障切換、多團隊成本歸因、合規 / 資料不外流、或成本失控需要即時可見時,閘道器才開始回本。別在真正需要之前引入。

單 provider 直連即單點故障,廠商一宕全線掛。GateLLM 支援跨廠商 fallback:主廠商 5xx / 逾時自動切到備選 provider,業務程式碼不用改。另一回事:對更高風險的呼叫,可在你的編排層(如 GitHub Actions 並行審查)跑多模型程式碼評審 —— 閘道器提供協議互通,讓多個模型交叉核對同一請求。

SaaS 閘道器多一跳對外網路往返。GateLLM 自託管在你的 VPC 內,到廠商 API 的額外跳是本機行程間通訊,亞毫秒級開銷,流式首 token 延遲幾乎不受影響。

可以。GateLLM 的組合支援分模式治理:管理員鎖定 plan / execute 檔位 —— 規劃走頂尖閉源模型、執行走開源 SOTA,約 14% 成本拿約 97% 能力;也可按 token 數 / 複雜度分類路由,杜絕全程只用最貴模型。

劣質代理會:緩衝流式回應、破壞 tool_calls 的 JSON 分片,或不同廠商 tool calling 格式不相容。GateLLM 原生流式透通不緩衝,並做能力正規化 —— 把 tool calling、結構化輸出、prompt 快取、推理 token 等七個跨廠商耦合點統一為單一介面,跨廠商模型混搭不會因格式差異踩雷。

轉接服務把你的請求經它轉發,你的 prompt、金鑰、輸出都暴露給它,且有降智 / 投毒 / 跑路風險(CISPA 研究實測 45.83% 的模型指紋測試出現身份驗證失敗,arxiv.org/abs/2603.01919)。GateLLM 是 BYOK 自託管:金鑰僅存閘道器記憶體不寫入資料庫不外傳,請求經閘道器直達廠商官方 API,不經任何第三方 —— 沒有「假模型 / 降智 / 跑路」的空間。

可以。GateLLM 全私有化部署在你內網,資料全程不外流,滿足資料出境合規;原生支援 DashScope 協議接入通義 / 智譜 / DeepSeek / 豆包等陸系模型;閉源模型走組合降量,減少跨境呼叫。

月帳單太晚。GateLLM 的 Token Ops 做請求級成本歸因 —— 按團隊 / agent / 模型 / 客戶端歸因,即時可見 burn rate,可設 per-agent 預算上限真的能中斷呼叫。crash-safe 計費(pre-deduct → settle → refund)保證程式當機也計費正確;Management API 可匯出對帳資料接入內部計費系統。

用 SaaS 聚合商時你只能信任它的承諾 —— 沒有密碼學驗證能保證它沒悄悄換成小模型賺差價(OpenRouter 自己也不做模型身份驗證)。GateLLM 是 BYOK 自託管:你用自己的金鑰、請求從你的閘道器直達廠商官方 API endpoint,模型身份由廠商 API 本身保證,中間無任何可替換環節。

相容。把 OpenAI SDK 的 base_url 指向 GateLLM(帶 /v1),其餘程式碼不用改,即可用統一介面呼叫所有模型。改一個 base_url 完成遷移 —— 無功能分叉、無代理封裝,你的 OpenAI 客戶端直連廠商等價的統一入口。

不用,一個閘道器全接。OpenAI SDK 的 base_url 指向閘道器(帶 /v1);Anthropic SDK 填閘道器根地址(SDK 自動拼 /v1/messages,金鑰走 x-api-key 頭);Google Gemini SDK 直連(金鑰走 x-goog-api-key 頭)。閘道器入口四種 + 出口四種(OpenAI / Anthropic / Gemini / DashScope)協議雙向互譯 —— 客戶端協議與上游協議可以不同:用 OpenAI SDK 調 Claude、用 Anthropic SDK 調 GPT、用 Gemini SDK 調 DeepSeek,都由閘道器自動翻譯,業務程式碼零改動;Cherry Studio 等第三方客戶端走 OpenAI 相容入口即可。詳見 docs.gatellm.io 的 reference/protocol-matrix 協議互通矩陣。

可以。Bedrock 作為上游接入(aws_converse / aws_invoke 協議,填 Bedrock API key 與區域 runtime 端點,支援 inference profile),客戶端繼續用 OpenAI / Anthropic / Gemini SDK,閘道器自動做協議翻譯。Bedrock 上的 Claude / GLM 等模型可與直連廠商的模型混進同一個路由 / 負載平衡器,統一治理。

支援。閘道器內建 MCP 代理:把多個外部 MCP 工具伺服器(streamable HTTP / SSE)聚合成統一 /mcp 入口,Claude Desktop 等任意 MCP 客戶端用一把閘道器金鑰即可呼叫;按金鑰組配工具級 ACL 與上下文預算,工具多時內建 BM25 檢索定位。工具呼叫的准入、限流、稽核與模型流量走同一套治理。

支援。閘道器提供 /v1/realtime WebSocket 橋接(OpenAI Realtime 與 DashScope Realtime 協議),語音對話等長連線會話與 HTTP 流量並行:同一套金鑰認證與准入,按輪(response.create → response.done)計入與 HTTP 相同的統計 / 帳單 / 日誌管線,成本口徑一致。

五層組合:金鑰組劃定各租戶可達的模型與負載平衡器;存取金鑰 + Header ACL 按請求標頭區分客戶端;身份作用域模型映射讓同一模型名按租戶路由到不同上游;每金鑰 RPM / 並行 / TPM 限流控用量;請求級成本按金鑰歸因,各租戶只見自己的用量與費用。詳見 docs.gatellm.io 的 usecases/multi-tenant-isolation 多租戶隔離方案。

可以。GateLLM 在閘道器層做搜尋劫持:設定搜尋引擎(serper,控制台行內可測)後,按模型三態開關(跟隨能力宣告 / 強制開 / 強制關)注入聯網搜尋結果,並按客戶端協議合成原生搜尋塊(Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call)——開源模型也能獲得 search grounding。搜尋失敗全降級不阻塞請求,劫持搜尋不計入用量計費。詳見 docs.gatellm.io 的 console/search 聯網搜尋設定。

可以。單個上游可配多把 API Key 按權重分流:確定性加權雜湊(FNV-1a)把同一呼叫方粘性繫結到同一把 key(快取親和),某把 key 失敗時在該上游內輪換到下一把未試過的 key 重試;weight=0 的 key 作備用,僅當所有 weight>0 的 key 都失敗後才啟用。繫結狀態在控制台逐行可觀測。詳見 docs.gatellm.io 的 reference/upstreams-models-fields 多金鑰與權重。

可以。任何 OpenAI 相容端點都能作為上游接入:填自訂基礎 URL 即可,vLLM / Ollama / TGI 等自部署推理服務與雲端廠商模型統一治理。出站代理(socks5 / http)、自訂請求標頭、per-upstream DNS 均可配,滿足內網與特殊網路拓撲。

不用寫 YAML。GateLLM 自帶視覺化控制台:上游 / 模型 / 負載平衡 / 存取控制 / MCP / 統計 / 日誌全部 GUI 設定,中英雙語即時切換;批次變更走「暫存 → 預覽(名稱空間衝突全集)→ 原子提交」,任一衝突整批復原。控制台帳號分 admin / monitor(只讀) 角色,操作與登入全部留痕稽核。

LiteLLM 是優秀的開源 LLM 代理。GateLLM 與 LiteLLM 共享能力基準(路由、tool calling、結構化輸出、快取、OIDC + SAML 2.0 + SCIM SSO)。GateLLM 的差異化在單 Rust 二進位執行檔、15 種協議形態(四大對話協議族任意 A→B,其餘按互通矩陣配對)、閘道器側快取自動注入與免 YAML 控制台;LiteLLM 在企業生態(secret manager、第三方 guardrail 回呼、可觀測回呼)更強。詳見 /compare/litellm。

支援。全私有化部署在你 VPC;BYOK 金鑰僅記憶體不寫入資料庫;企業 SSO(OIDC:Azure AD / Okta / 通用 OIDC,另含 SAML 2.0 與 SCIM 2.0 自動佈建);請求級稽核日誌可匯出;GDPR 就緒;SOC 2 Type II / ISO 27001 控制對齊(認證準備中)。詳見 /security。

在控制台「設定 → 計費」為模型手動新建價格快照,來源標記為 pinned(黃色徽章)。pinned 價因時間更新成為目前生效價,遮蔽其下的 auto 基準價,系統自動重新整理會跳過該模型、不覆寫你的手動價;刪除 pinned 後自動退回次新的 auto 行並自愈。

不會。價格快照按 created_at 排序,每條只覆蓋 [自身時間, 下一條時間) 區間 —— 最早那條向前回填歷史、最新那條向後無限延伸。新建一條快照並把生效時間設到未來,即可預設降價生效日,只影響之後的月份;也可回填歷史價補錄過去月份的準確成本。

給存取金鑰設日度 / 月度費用配額(USD 金額),UTC 自然日、自然月兩個獨立週期分別判定,任一觸頂即返回 429 quota_exceeded 並停止服務(日度視窗帶 Retry-After)。配額按金鑰 → 金鑰組 → 全域三層繼承,組限 = 組內每個 key 各自上限(非共享總帳),多組取最寬。