術語表

把七個跨廠商耦合點(tool calling、結構化輸出、prompt 快取、推理 token、多模態、計費抽象、錯誤語義)統一為單一介面。這是跨廠商混用模型的前提 —— 否則每個模型各有各的呼叫約定,每次切換都需重寫膠水程式碼。

在閘道器側把不同請求階段路由到不同模型 —— 身份作用域模型映射 + plan 模式切換。典型用法是規劃用頂尖閉源模型(如 Claude Opus)、執行用開源 SOTA(GLM / Qwen / DeepSeek),用約 14% 成本拿到約 97% 能力。在控制台設定(規則 + 指令碼),客戶端程式碼零改動。

一種編排層模式 —— 把同一 prompt 並行交給多個模型再合併結果。扇出、去重與置信度標註發生在你的編排層(如 GitHub Actions);閘道器提供協議互通與統一計量,讓任意模型都能加入、流量集中治理。適合程式碼審查等高風險呼叫。該模式的已交付形態即「多模型程式碼評審」(見編排章節)。

面向大模型 API 的「用量面」運營：可觀測、客戶端准入、稽核留痕、程式化管理。回答「誰在用、用了多少、能不能進來」；與 Token FinOps 分工 —— 後者回答「怎麼換算成錢、記誰頭上、超了怎麼卡」。GateLLM 把這些整合進閘道器，永不加收 Token 費用。

把 FinOps 的可見、歸集、治理套用到 token 支出的財務控制層：自有價目表把 token 換算成錢、標籤把錢歸集到成本中心、日 / 月費用配額把預算變成能攔請求的閘門。與 Token Ops 互補 —— Token Ops 看用量，Token FinOps 看錢。

使用者自帶各模型廠商 API Key 接入閘道器。金鑰僅存於閘道器記憶體,不寫入資料庫、不外傳;請求經閘道器直達廠商官方 API。GateLLM 不收中間差價。