# GateLLM — 企業級多模型 LLM 閘道器

> 成本只要 1/7。可信、合規、可私有化的企業級多模型 LLM 閘道器,把頂尖閉源模型與開源 SOTA 模型編排組合 —— 規劃與複雜推理走頂尖模型,常規執行走開源 SOTA。

規範連結: https://www.gatellm.io/zh-TW/

## 頂尖模型規劃，開源 SOTA 執行，成本只要 1/7
規劃與複雜推理留給頂尖模型，常規執行交給開源 SOTA。組合把帳單壓到約 1/7 —— 數字在計算器中即時算出，不是寫死的宣傳語。
```
from openai import OpenAI

# 只改一行：把 SDK 指向你自己的閘道器
client = OpenAI(
    base_url="https://your-gateway.gatellm.io/v1",
    api_key="your-gateway-api-key",
)

# 原始碼不變 —— 閘道器按你在控制台的策略，把每個請求
# 路由到合適的模型檔位（規劃走頂尖模型、執行走開源模型）
resp = client.chat.completions.create(
    model="claude-opus-5",  # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
    messages=[{"role": "user", "content": "規劃整體架構"}],
)
```
混用模型:Claude Opus 負責規劃、DeepSeek / Qwen 負責執行 — 成本約 1/7,最多降低 90%

由閘道決定哪個模型真的執行:不論用戶端設定什麼,落地模型都是管理員鎖定的那一個 — ingress 允許清單 + 「*」萬用字元對應

一種協定就夠:說 OpenAI 或 Anthropic,就能觸及四種對話協定家族(OpenAI / Anthropic / Gemini / DashScope)背後的模型 — 換模型不必改程式碼

資料留在本地:完全自架,提示詞不會送到我們這裡;憑證與 PII 在請求路徑上偵測 — 依範圍記錄 / 遮蔽 / 封鎖

## 單一模型做不到、而閘道能做的三件事
混用模型以降低成本、強制實際執行的模型,並讓用戶端程式碼只維持一種協定。
### 混用模型,而不是到處都跑最貴的那一個
前沿模型(Claude Opus)負責規劃與推理;開源 SOTA 模型(DeepSeek / Qwen / GLM)負責例行執行。在預設組合下帳單約為 1/7,例行執行任務仍保留約 97% 的能力 — 數字由計算機即時算出,不在此斷言。
- 依請求偵測規劃模式 — 用戶端無需修改
- 依金鑰群組或身分指派層級
- 依模式分攤成本並設定預算上限
### 由閘道決定哪個模型真的執行
不論開發者設定了哪個模型,請求在抵達時就會被正規化。不在允許清單中的名稱會得到 403;「*」萬用字元對應會把其餘全部改寫成核可的模型。對應與規則可熱重載 — 不需要逐一為開發者推送。
- 金鑰群組允許清單在 ingress 攔截模型名稱
- 萬用字元對應鎖定落地模型
- 每個請求都記錄實際落地模型(腳本切換記 SW、身分對應記 MM)
### 用戶端寫一次,後端自由更換
你的應用只說一種協定 — OpenAI 或 Anthropic。閘道在四種對話協定家族(OpenAI / Anthropic / Gemini / DashScope)之間轉譯,並正規化串流、工具呼叫等能力差異,因此新增廠商或模型都不會動到業務程式碼。
- 四種對話協定家族之間任意互轉
- 只支援 Anthropic 的用戶端(Claude Code、claude-code-action)也能跑其他廠商的模型
- 四大家族之外另有 15 種上游協定形態,記錄在互通矩陣中

已接入 100+ 大模型廠商 · 30+ SDK 與框架

## 自行核實
我們把檔案公開出來，而不是讓你只能相信我們的話。本頁每一條主張都有可查的憑證，在你聯絡我們之前就能讀完。

### [安全與合規](https://www.gatellm.io/zh-TW/security.md)
架構、金鑰處理與隔離模型。

### [安全問卷](https://www.gatellm.io/trust.md)
CAIQ / SIG / VSA 逐項作答。

### [次級處理者清單](https://www.gatellm.io/subprocessors.md)
可能接觸你資料的每一家第三方。

### [事件回應與支援](https://www.gatellm.io/sla.md)
回應時限與支援承諾。

## 一個介面，混搭組合所有模型
從簡單的模型路由到多模型混搭組合，GateLLM 提供完整的企業級能力。
### 多模型路由
一個介面呼叫所有模型。智慧 fallback、負載平衡、自動重試。
- 100+ 大模型廠商統一 API
- 智慧 fallback 路由
- 負載平衡與速率限制
- 上游多 Key 池：同一呼叫方粘定一把 key，失敗自動換下一把
- Ollama / vLLM / llama.cpp 以 openai-compatible upstream 接入，同一套治理面
### 組合
分級路由按 plan 模式、身份或請求形態逐請求決策：規劃走頂尖模型，執行走開源 SOTA。閘道器改寫模型名——客戶端程式碼一行不改。
- plan 模式檢測：規劃走頂尖、執行走開源 —— 客戶端零改動
- 身份作用域模型映射：同一模型名按金鑰組路由到不同上游
- switch-route 規則：帶圖或特殊請求重定向到合適模型
- Agent 內降級:plan 鎖定 / 非 plan 自動降到便宜模型
### 多模型程式碼評審
同一 PR 上 2–3 個模型並行評審。閘道器提供協議互通與一把金鑰統一計量；扇出、合併與置信度評分都在開源編排 Action 裡。
- 閘道器協議互通：非 Anthropic 模型也能進 Anthropic-only 審查佇列
- 一把存取金鑰統一計量與管控整個扇出
- 扇出、[Consensus N/M] 評分與合併由 gatellm-io/gatellm-code-review 承擔（編排側）
### MCP 工具治理
外部 MCP 工具伺服器聚合成統一 /mcp 入口：工具級 ACL、上下文預算、呼叫稽核。Agent 能用什麼工具，與能用哪些模型收進同一套權限面。
- 多 MCP 伺服器聚合為統一 /mcp 入口
- 金鑰組按工具 allow/deny + 按標籤過濾
- 工具多時內建 BM25 檢索定位
- REST 橋：一份簡化 spec 即可把 REST API 零程式碼暴露成 MCP 工具
- MCP 呼叫 / 違規 / 會話全稽核
### 聯網搜尋注入
給任意模型統一補上聯網搜尋：閘道器層檢索注入，按客戶端協議合成原生搜尋塊，開源模型也能 search grounding。
- 按協議合成原生搜尋塊（Anthropic / OpenAI / Responses）
- 模型級三態開關，失敗降級不阻塞請求
- 劫持搜尋不計入用量計費
### 成本管控
預算管理、速率限制、團隊成本歸因、分模式模型治理。永不加收 Token 費用，BYOK 自帶金鑰。
- 按專案、按功能成本歸因
- 軟預算告警
- BYOK：直接向廠商支付標準價格
- 分模式模型策略（plan/execute 可強制）
### 企業治理與整合
從客戶端准入到 CI/CD 整合，把閘道器能力延伸進你的研發與協作流程。
- 客戶端准入控制（User-Agent 策略）
- GitHub Actions Code Review 走自有閘道器
- 批次設定：暫存 → 預覽完整衝突集 → 單事務原子提交
### Office / M365 載入項
在 Excel、Word、PowerPoint、Outlook 裡直接用你自己的模型閘道器 —— 自託管載入項、資料不出內網、對 pivot 零依賴。
- Excel 財務建模 / Word 合同審閱 / Outlook 收件箱
- Entra SSO + Purview 標籤門控
- 33 個內建領域 skill，付費增值
### 轉換指令碼
沙箱化 JavaScript 引擎（QuickJS）在閘道器處改寫請求與回應 JSON。控制台裡編輯即改即生效 —— 無需重新部署、無膠水程式碼。
- 請求側 before / after 雙 slot + 回應側 slot：譯前見客戶端原格式、譯後見上游格式
- context.useModel() 整體換路由 —— base_url、協議、憑證一起換
- 內建函式庫：json_path / str_* / regex_* / array_* / 編碼雜湊 / UUID + 時間
- 沙箱禁網禁檔案系統，支援失敗開/閉模式 + 控制台內建指令碼測試

## 模型混搭組合：拿到單模型給不了的品質
組合（Composition）是閘道器原生模式，多模型程式碼評審是閘道器使能的編排側模式 —— 兩者都建立在能力正規化層之上。
### 組合：分級路由跨模型
按 plan 模式、身份或請求形態路由：規劃留在頂尖模型，執行落到開源 SOTA。閘道器改寫模型名並翻譯協議——客戶端程式碼一行不改。
- plan 模式檢測：規劃走頂尖、執行走開源 —— 客戶端零改動
- 身份作用域模型映射：同一模型名按金鑰組 / 請求標頭路由到不同上游
- switch-route 規則：帶圖或特殊請求重定向到合適模型
- 無膠水程式碼 —— 協議翻譯由閘道器完成
- 策略可強制：管理員按 plan/execute 模式鎖定模型檔位，杜絕全程用最貴模型
```
// before-slot 轉換指令碼(JavaScript)—— 按 plan 模式切換執行模型。
// 掛載在控制台的入口模型上;路由前執行。
function transform(body, context) {
    if (context.sourceProtocol !== "Anthropic") {
        return body;
    }
    const EXEC_MODEL = "qwen3.8-max"; // 閘道器裡已設定的模型名
    const PLAN = /plan mode is active/i;
    const EXIT = /exited plan mode/i;
    // 從最後一條帶標記的訊息取狀態:較後的標記勝出
    const messages = body.messages || [];
    for (let i = messages.length - 1; i >= 0; i--) {
        const s = JSON.stringify(messages[i].content || "");
        const inPlan = PLAN.test(s);
        const exited = EXIT.test(s);
        if (inPlan || exited) {
            // 不在 plan 模式 → 把執行切到更省成本的模型
            if (exited || !inPlan) context.useModel(EXEC_MODEL);
            return body;
        }
    }
    context.useModel(EXEC_MODEL);
    return body;
}
```
### 多模型程式碼評審（編排側）
閘道器使能、編排層執行：claude-code-action 只說 Anthropic 協議，透過閘道器協議互通，qwen3.8-max、kimi-k3 等非 Anthropic 模型才能進評審佇列。一把閘道器存取金鑰統一計量每個評審模型。
- [Consensus N/M] 置信度標註、合併與去重由 Action 產出
- 每個評審模型獨立計費，由閘道器統一歸集
- PR 行數閘門與歷史評論摺疊內建於 Action

## 三步拿到第一個 token
三步完成從單模型到多模型混搭組合的升級，無需重寫業務程式碼。任意一種 SDK（OpenAI / Anthropic / Gemini / DashScope）都能接。
### 部署閘道器
Docker 一鍵啟動，或 Kubernetes Helm 部署到私有環境。
### 設定金鑰
BYOK 模式：填入你已有的各模型廠商 API Key，資料不出內網，不寫入資料庫。
### 替換 Endpoint
將 OpenAI SDK 的 base_url 指向 GateLLM，即可用統一介面呼叫所有模型。
```
# 只需改一行：把 base_url 指向 GateLLM
from openai import OpenAI

client = OpenAI(
    base_url="https://your-gateway.gatellm.io/v1",
    api_key="your-gatellm-api-key"
)

# 原有程式碼完全不用改，直接呼叫任意模型
response = client.chat.completions.create(
    model="claude-opus-5",  # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
    messages=[{"role": "user", "content": "你好"}]
)
```
## 或者交給你的 agent

安裝並設定 GateLLM 閘道器。請先用 curl 取回這份安裝指南的原始 Markdown，從頭到尾讀完後逐步執行（步驟間有先後順序依賴，例如金鑰組必須先於存取金鑰建立，不要跳讀）：

curl -fsSL https://docs.gatellm.io/zh-CN/quickstart/docker-single-node.md

你只需要提供一樣東西：上游廠商的 API Key。其餘由 agent 自己生成，並透過 Console API 完成設定——不開啟瀏覽器，第一個請求返回生成內容即完成。

## 或者自己動手

```bash
docker run -d \
  --name gatellm \
  -p 7890:7890 \
  -e CONSOLE_PASSWORD=change-me-on-first-login \
  -e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
  -e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
  -e STORAGE_MODE=sqlite \
  -v gatellm-data:/var/lib/protoflux \
  ghcr.io/gatellm-io/gatellm:latest
```

執行前替換三個佔位值——安裝指南裡寫明了每個值是什麼，以及原樣保留為什麼不安全。

## 帶上你已有的 SDK，只改一行
兩側（你的 SDK 與模型廠商）都說同一套四種協議。任意雙向轉換、零膠水程式碼，覆蓋對話、影像、語音、影片、即時語音，外加 embedding 與 rerank。
### 全模態
- 對話
- 影像
- 語音
- 影片
- 即時語音
- embedding
- rerank

- 入口協議原生：OpenAI / Anthropic / Gemini / DashScope 四種 SDK 直連，不改 base_url 之外的程式碼
- 出口協議原生：路由到任意廠商時按其原生協議出口，不是統一翻成 OpenAI 信封再轉一次
- 任意組合轉換：入口 A → 出口 B 無縫（如 Anthropic SDK 呼叫 → 路由到 DashScope 廠商按 DashScope 協議出口）
- 全模態 + embedding/rerank：chat / image / speech / video / realtime voice 全覆蓋，外加 embedding 與 rerank 協議統一
- 比「OpenAI 相容」更強：synthorai 等是「入口三種、統一成 OpenAI 表面」；GateLLM 是入口四種 + 出口四種，雙向任意
- 出口協議面更廣：除四大協議族外，上游協議共 15 種形態（含 AWS Bedrock Converse / Invoke、Realtime、passthrough）——Bedrock 上的企業模型與自部署模型都能統一接入
- 即時語音會話（/v1/realtime，openai_realtime + dashscope_realtime）按輪計量，進與 HTTP 同一套統計 / 計費 / 日誌管道

## 相容你正在用的 SDK
一行程式碼，把任意 SDK 或框架接到閘道器。OpenAI、Anthropic、Gemini、DashScope 原生接入；LangChain、LlamaIndex、CrewAI、Vercel AI SDK 等 30+ 框架同樣只換 base_url。
### base_url 指向閘道器
預設 https://your-gateway.gatellm.io —— 是否含 /v1 因 SDK 而異（每個示例給出確切值）。
### 換成閘道器 access key
不是上游的 sk-… 金鑰 —— 同一把 access key 裝進你 SDK 期望的任意 header。
### 模型名用閘道器設定名
是你在控制台設定的名字 —— 不是廠商官方名。
```
# base_url 約定因 SDK 而異 —— 匹配你正在用的那個
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1")        # OpenAI SDK：帶 /v1

import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io")  # Anthropic SDK：根（自己拼 /v1/messages）

# Vercel AI SDK 的 createAnthropic：baseURL 要 ".../v1"（自己拼 /messages）—— 正好相反
# LangChain ChatOpenAI：base_url="https://your-gateway.gatellm.io/v1"
```
### `Authorization: Bearer <key>`
- SDK / 框架: OpenAI · DashScope · 通用
- Bearer 字首大小寫不敏感

### `x-api-key: <key>`
- SDK / 框架: Anthropic SDK
- 也接受 Authorization

### `x-goog-api-key: <key>`
- SDK / 框架: Gemini SDK
- 也接受 Authorization

### 官方廠商 SDK
OpenAI / Anthropic / Google SDK 原生接入 —— 只改 base_url

### DashScope 原生
文字、影像、非同步影片、embedding、rerank 走同一入口

### 統一 SDK / 閘道器層
Vercel AI SDK、LiteLLM、Portkey、Semantic Kernel、Spring AI

### 編排框架
LangChain、LlamaIndex、CrewAI、AutoGen、DSPy、Haystack

### Agent SDK
OpenAI Agents、Claude Agent、Pydantic AI、ADK、Mastra

### 即時語音
Realtime WebSocket 語音 + openai_audio 轉寫 / 合成

### 本地 / 自託管
Ollama、vLLM、llama.cpp 作上游 —— 客戶端 SDK 不變

### 模型名必須等於閘道器設定名
不是廠商官方名，也不是上游真實模型 ID —— 是你在控制台起的名字。名字不對 → 404 model_not_found。

### base_url 是否帶 /v1 因 SDK 而異
OpenAI SDK 帶 /v1；Anthropic SDK 指閘道器根（它自己拼 /v1/messages）；Vercel AI SDK 的 createAnthropic 要帶 /v1（它自己拼 /messages）。拼錯會多一段或少一段路徑。

### 跨協議欄位會被翻譯並受約束
當上遊是 Responses 協議模型時，max_tokens 會被翻譯成 max_output_tokens，且上游可能設下界（如 ≥16）—— 太小 → 400。

### 思考塊被閘道器包裹
Claude / Gemini 的思考內容與簽章會被透通或剝除 —— 取 content 陣列裡 type == "text" 的元素，別假設 content[0] 是文字。

### OpenAI Agents SDK 預設打 /v1/responses
它調的是 Responses API，不是 Chat Completions。上游是 openai（Chat）協議時，用 OpenAIChatCompletionsModel 顯式切到 Chat；上游本身是 openai_response 時，字串模型名直接用。

### LlamaIndex 按白名單驗證模型名
OpenAI 類只認它認識的一系列名稱，會拒絕自訂閘道器名 —— 用 OpenAILike（Python）或顯式宣告模型資訊繞過。

### CrewAI 底層是 LiteLLM
base_url 不是框架引數 —— 是 OPENAI_API_BASE 環境變數，而且 model 要帶 openai/ 字首。

### AutoGen 對未知模型名要顯式 model_info
不在預設清單的模型名會報錯 —— 顯式宣告 model_info 繞過驗證。

### Google GenAI SDK 指向閘道器根
base_url 經 http_options.base_url 傳入（不帶 /v1），key 裝在 x-goog-api-key header。

## 把任意 AI coding agent 指到閘道器
```
# 每個 agent 都只是「一個 base_url + 一把 access key」
export ANTHROPIC_BASE_URL="https://your-gateway.gatellm.io"   # Anthropic 系 agent：根（不帶 /v1）
export ANTHROPIC_API_KEY="<閘道器 access key>"

export OPENAI_API_BASE="https://your-gateway.gatellm.io/v1"   # OpenAI 相容 agent：帶 /v1
export OPENAI_API_KEY="<閘道器 access key>"

# Codex CLI（~/.codex/config.toml）走 Responses 協議
# [model_providers.gatellm]
# base_url = "https://your-gateway.gatellm.io/v1"
# wire_api = "responses"
```
### 終端 agent
Claude Code、Codex CLI、Gemini CLI、OpenClaw、opencode、Crush、Droid、Goose、Aider、Qwen Code、OpenHands、Kimi Code、Plandex、SWE-agent、Grok Build、Mistral Vibe、MiMo Code、ForgeCode、Codebuff

### IDE / 編輯器外掛
Cline、Roo Code、Kilo Code、Continue、Zed、Cursor、Windsurf、GitHub Copilot（BYOK）

### 託管平台
Warp（僅 BYOK 金鑰）、Amazon Q Developer CLI、Devin —— 端點固定或不可改

### harness 釘死了自己的模型 ID
Claude Code 傳送的是它自己設定的預設 ID（如 claude-opus-5 或 claude-sonnet-5），不是你的閘道器名。要麼把閘道器模型名取成 harness 實際請求的 ID，要麼用它的模型環境變數（如 ANTHROPIC_MODEL）指到你的閘道器名。名字不對 → 第一條訊息就 404 model_not_found。

### Anthropic 系 harness 要指根、不帶 /v1
Anthropic 風格客戶端的 base URL 要指向閘道器根（不帶 /v1）—— 客戶端自己拼 /v1/messages。這裡多寫一個 /v1 會讓路徑段疊一層。

### Codex 自訂 provider 需要 wire_api="responses"
Codex CLI 的 [model_providers.*] 設定塊要求 wire_api = "responses"。閘道器原生實現 /v1/responses —— 把 base_url 指過來、env_key 指向閘道器 access key 即可。

### LiteLLM 底座的 harness 要 openai/ 模型字首
Aider、OpenHands、SWE-agent 底層是 LiteLLM：把 OPENAI_API_BASE 設成閘道器，模型名帶 openai/ 字首（如 openai/閘道器模型名），LiteLLM 才按 OpenAI 相容端點路由。

### 預設走訂閱 OAuth，不是你的 key
Codex、Gemini CLI、Qwen Code 預設走廠商的 OAuth / 訂閱登入。要經閘道器必須顯式切到 API key 認證（同時設 key 與 base URL）—— 否則會直接繞過閘道器。

### IDE 按模型 ID 推斷工具 / 視覺能力
Cline / Roo / Kilo 等按模型名判斷工具呼叫與視覺能力。自訂閘道器名可能關掉函式呼叫 —— 工具呼叫失敗時，檢查客戶端的能力檢測規則，或把模型名取成它認識的家族名。

### 長推理會多出 :keep-alive 與 _gateway_warning
上游長推理期間閘道器會發 SSE 的 :keep-alive 註釋行（無害，跳過以 : 開頭的行即可）；中途斷流時會插入 _gateway_warning 欄位而不是直接報錯 —— 設計目標就是避免 Claude Code 這類 harness 因流錯誤中斷整段會話。

### Claude Code auto mode：決定那份安全裁決由誰應答
auto mode 下，Claude Code 在執行可能有危險的動作前，會等一份伺服器端裁決（請求體裡的 safeguards 欄位）。上游是官方 Anthropic 時，裁決在同一次請求裡由上游給出，閘道器原樣透通、不加干預。上游是忽略該欄位的第三方時，改由閘道器應答 —— 出廠預設（allow_all）放行全部動作，比不介入更寬鬆。要把某條上游上的這個判斷交回給它自己，就在該上游的 extra_config 裡寫 "anthropic_server_safeguards": "upstream"；控制台裡這項設定僅 admin 可改。

## 能力正規化：讓跨廠商混搭成為可能
跨廠商混搭依託能力正規化層——統一七個耦合點，切換模型再也不用重寫膠水程式碼。
### Tool Calling 正規化
OpenAI / Anthropic / Gemini / 陸系模型的 tool calling schema 各不相同。我們在底層統一抽象，讓你寫一次程式碼呼叫所有模型。
### 結構化輸出相容
每家用不同協議（strict JSON schema、json_mode、tool_use）。我們統一為一致的介面。
### Prompt 快取統一
Anthropic cache_control、OpenAI 自動快取、Gemini context——各家機制不同。我們提供統一的快取策略。
### 推理 Token 適配
o1 / Claude thinking / DeepSeek R1 輸出格式不同。我們適配各家推理 token 協議。
### 多模態格式支援
vision / audio / 檔案上傳各家協議不同。我們統一多模態輸入格式。
### 計費模型抽象
每家 pricing 結構不同。我們抽象為統一的成本追蹤介面。
### 錯誤語義正規化
各廠商錯誤碼與錯誤體各不相同。我們正規化為統一錯誤體，z-request-id 端到端關聯每個請求。
### 資料流向：不出內網，不寫入資料庫
BYOK 模式下，API Key 僅儲存在閘道器記憶體中，不寫入資料庫、不傳輸。請求經閘道器路由後直達模型廠商官方 API，資料全程不出你的私有網路。
SOC 2 控制對齊

ISO 27001 控制對齊

GDPR

## 為什麼是約 1/7 的成本？
以日均 10 億 token 的企業使用者為例：同一批任務，看「全程頂尖模型」與「頂尖模型規劃 + 開源模型執行」的帳單差多少。
## 省錢三來源：
- BYOK 無 token 加價——你直接向廠商付標準價，GateLLM 不收中間差價（聚合商通常在廠商標準價之上另收平台費與支付費）；
- 組合——開源 SOTA 模型（GLM / Qwen / DeepSeek）承擔分類、抽取、翻譯等大部分執行量，頂尖閉源模型（如 Claude Opus）只用於規劃與複雜推理；
- Prompt 快取——高頻呼叫命中快取，單價再降 50%–90%。
數字為基於公開定價的示意模型，實際省錢幅度取決於業務場景與混搭比例。Pro 授權費 $400/月（2GB 單機）已包含在 GateLLM 方案內。

## 用量看得見，費用算得準，預算卡得住
Token Ops 管誰在用、用了多少；Token FinOps 管 token 怎麼記帳、超了怎麼卡。一套控制平面，讓 AI 支出像雲支出一樣可運營。
### 用量與成本可觀測
按模型、按存取金鑰、按金鑰組三維度拆解每一次呼叫的 token 用量與花費，輸入 / 輸出 / 快取命中分開計量，1 分鐘粒度持久化。
- 按模型 / 金鑰 / 金鑰組三維度歸集
- 輸入 · 輸出 · 快取讀分開計量
- 24h / 7d / 30d / 自訂時序
### 客戶端准入與稽核留痕
只讓批准過的客戶端接入閘道器：按 User-Agent 放行、限流或拒絕。所有呼叫留下可稽核記錄，滿足終端治理與合規取證。
- 客戶端准入控制（User-Agent 策略）
- 呼叫留痕與日誌保留（Pro 起）
- 稽核 / DLP 介接（企業版）
### Management API（程式化管理）
透過 API 程式化管理閘道器：建立 / 吊銷 API Key、設配額與預算、查詢用量與成本、匯出稽核日誌，接入你的內部維運與計費系統。
- API Key 程式化建立 / 吊銷
- 配額與預算程式化管理
- 用量與成本查詢 API
- 稽核日誌匯出
### 自有價目表與價格快照
把你談下來的私有價手動錄入閘道器，成為權威價：系統重新整理不覆寫。每條價格帶生效時間段，降價可提前錄，改價不追溯歷史成本。
- 私有價 pinned 遮蔽 auto、重新整理不覆寫
- 價格快照按時間分段生效
- 回填歷史價 / 預設降價生效日
- Token · 按次 · 按時長三種計費模式
### 標籤歸集與帳單分攤
給金鑰 / 金鑰組打標籤，按標籤彙總用量與費用，把 token 成本歸集到成本中心。Excel 匯出按模型 × 金鑰拆細帳，支撐內部分攤。
- 金鑰 / 金鑰組自由打標籤
- 按標籤彙總用量與費用
- Excel 匯出 6 張 sheet（含金鑰 × 模型）
- 支援內部 showback / chargeback
### 費用配額與限流
給每個金鑰設日 / 月費用上限，UTC 自然日、自然月獨立判定，任一觸頂即攔。配額按金鑰 → 金鑰組 → 全域三層繼承，多組取最寬。
- 日 / 月費用上限（獨立判定）
- 金鑰 → 組 → 全域三層繼承
- 觸頂 429 quota_exceeded，日度帶 Retry-After

## GateLLM vs LiteLLM
一份可溯源的對等對比。有些機制只有 GateLLM 具備、LiteLLM 沒有；雙方共享一份共同的基準；少數幾項是形態不同。請依據上面兩層做決定，而不是行銷噪音。
### 只有 GateLLM 做得到
LiteLLM 沒有的機制 —— 每項能力下方用一行說明「怎麼做到的」。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 條件模型切換 | ✓ | ✗ |
| 跨協議模型 / SDK 混用 | ✓ | ✗ |
| 單事務設定提交 | ✓ | ✗ |
| 成本配額硬閘 | ✓ | ✗ |
| 當機安全計費 | ✓ | ✗ |
| 上游 key 池加權 + 粘性繫結 | ✓ | ✗ |
| 三種計費模式 + 多幣種 | ✓ | ✗ |
| 上游 SSO 憑證登入 | ✓ | ✗ |
| 能力後設資料登錄檔 | ✓ | ✗ |
| LTS 長期支援分支 | ✓ | ✗ |

- **條件模型切換**: 控制台宣告式 switch-route 規則 + 內建 plan 模式檢測 + context.useModel() 指令碼 —— 客戶端零改動。LiteLLM 需自寫 Python callback。
- **跨協議模型 / SDK 混用**: 原生任意 A→B 入口 —— 用 Anthropic SDK 調 GPT、用 Gemini SDK 調 DeepSeek。LiteLLM 以 OpenAI 為中心，反向走相容轉接層。
- **單事務設定提交**: 暫存 → 預覽完整衝突集 → 原子提交，任一衝突整批復原。
- **成本配額硬閘**: 日 / 月雙週期到頂即返回 429 quota_exceeded。LiteLLM 只有預算告警。
- **當機安全計費**: 預扣 → 結算 → 退款 + in-flight 臺帳 —— 程式當機後帳目仍正確。
- **上游 key 池加權 + 粘性繫結**: FNV-1a 加權雜湊把同一呼叫方粘定到一把 key，失敗換下一把未試 key；weight=0 備用。
- **三種計費模式 + 多幣種**: Token / 按次 / 按時長 + USD/CNY/EUR/JPY/GBP + 自訂維度。LiteLLM 僅按 token 追蹤。
- **上游 SSO 憑證登入**: 可接入無靜態 key 的廠商（如 Kiro）。LiteLLM 僅支援靜態 API key。
- **能力後設資料登錄檔**: 驅動自動注入與降級；新模型能力漂移免改程式碼。
- **LTS 長期支援分支**: N-1 + LTS 分支（見 /lifecycle）。LiteLLM 僅支援最近 4 個 minor 線。

### 雙方都做得到
共同的基準 —— 選哪個都能覆蓋這一層。決定在上下兩層。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| API 路由 · fallback · 負載平衡 | ✓ | ✓ |
| BYOK 無 token 加價 | ✓ | ✓ |
| 全私有化部署 / 資料不出內網 | ✓ | ✓ |
| Tool Calling 跨廠商正規化 | ✓ | ✓ |
| 結構化輸出（JSON Schema）正規化 | ✓ | ✓ |
| 推理 token（thinking）正規化 | ✓ | ✓ |
| 跨模型 Prompt 快取 | ✓ | ✓ |
| 聯網搜尋注入 | ✓ | ✓ |
| MCP 閘道器（工具聚合） | ✓ | ✓ |
| 視覺化控制台 | ✓ | ✓ |
| 稽核日誌與用量 / 成本核算 | ✓ | ✓ |

### 形態不同之處
不是誰更好 —— 機制與打包方式不同，值得你直接權衡。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 執行形態 | 單 Rust 二進位執行檔 · 無 GC 停頓 | Python 程式 + 依賴棧 |
| 協議翻譯面 | 15 種協議形態；四大對話協議族（OpenAI / Anthropic / Gemini / DashScope）任意 A→B，其餘按互通矩陣配對 | 以 OpenAI 相容為中心 + 若干相容端點 |
| 原生協議入口 | /v1/messages + count_tokens、Gemini generateContent、/v1beta/cachedContents CRUD、/v1/realtime、/mcp —— 一個閘道器原生承接各種 SDK | OpenAI 相容端點（加若干相容變體） |
| Prompt 快取深度 | OpenAI 協議呼叫自動注入斷點 + 跨協議翻譯 + Google cachedContent 去重 | 透通 cache_control，正規化 usage |
| 日誌隱私預設值 | 請求日誌預設不寫入資料庫 · 日誌正文在每個出口面脫敏，檢視原文需 admin 且進稽核 · 預設留存 7 天 | 請求/回應日誌預設開啟；脫敏走 guardrails |
| 設定形態 | 全控制台 —— 免 YAML，改完即時生效 | 以 config.yaml 為中心 |
| 企業 SSO 與 SCIM 打包方式 | OIDC + SAML 2.0 + SCIM 打包進按執行個體固定授權，不按席位收費 | OSS 的 SSO 限 5 使用者內；SCIM 需用量計價的企業版 |
| 授權形態 | 按執行個體 / 記憶體固定，不按席位、不加 token 費 | OSS 免費；企業版按用量 |
| 支援 SLA | 固定授權內即含優先回應 | 標準檔無回應時限承諾；24/7 SLA 為加價項（Sev0 1h / Sev1 6h） |
| 端點覆蓋 | Chat / Realtime / MCP 核心端點 | 另有 /batches、/files、/fine_tuning、/vector_stores、/videos、/containers |
| 第三方生態 | 內建日誌 / Prometheus / OTel —— 標準協議直出，不綁單一廠商；金鑰與 PII 識別內建在閘道器裡，不依賴第三方引擎 | AWS KMS / Vault / CyberArk secret manager；Presidio PII guardrails；Langfuse / Langsmith / Arize 可觀測 |

已對照各產品官方文件核實（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企業版授權；細節可能漂移，採購前請以官方源為準。

## 在請求側識別金鑰與敏感資訊，處置方式由你決定
一套確定性規則引擎檢查每個模型請求裡的憑證格式與 PII，記錄命中情況、但不記錄命中的原文。內建規則出廠即停用、動作停在觀察態；由你啟用，並按作用域選擇 log、mask 或 block。識別路徑裡沒有模型。
### 確定性識別，路徑裡沒有模型
構造上就是確定性的：先做字面量探針，再做要求上下文詞的 regex 規則，最後過驗證位 —— 銀行卡走 Luhn、IBAN 走 mod-97、居民身份證號走驗證位，另有 PEM 與 OpenSSH 私鑰塊、IPv4。
- 憑證格式：模型廠商 API key、雲廠商 access key、GitHub 與 GitLab token、JWT、PEM 與 OpenSSH 私鑰、Slack token
- PII 類別：中國大陸手機號、居民身份證號、銀行卡號、IBAN、信箱地址、IPv4 地址
- 多輪會話只掃新增部分 —— 游標雜湊鏈讓長會話不重複掃已經放行的文字
### mask 對客戶端可還原，block 不洩露命中內容
選 mask：上游模型收到帶編號的佔位符，你的客戶端拿回還原後的真實值 —— 流式回應按 SSE 幀逐幀還原。選 block：請求被駁回，只帶規則類別與一個請求 id，絕不帶命中的原文。
- 上游看到佔位符；資料的主人看到自己的原值被還原回來
- 長貼上不豁免 —— 超長字串先溢寫到磁碟，再按固定大小視窗回掃，記憶體佔用與內容長度無關
- 白名單按值匹配、絕不按路徑匹配：放行一個測試 key，不會順手豁免整個欄位
### 日誌正文：原樣儲存，每個出口都脫敏
出廠映像裡請求日誌預設不寫入資料庫。開啟之後，正文按收到的原樣儲存，並在每個出口面脫敏 —— Console API 預設脫敏，SSE 與終端輸出始終脫敏，脫敏失敗即關閉該回應，而不是從失敗裡漏出去。
- 檢視原文是一次顯式操作：admin 角色加一個顯式的 reveal 開關，並且被稽核、被計數
- 脫敏覆蓋敏感 body 欄位、敏感 query 與 URL 引數、靜態與自訂認證方案的請求標頭，以及 bearer token 值（部分保留以便辨識）
- 發現項只留脫敏片段與命中處有界的上下文，不留命中原文；發現項與日誌共用留存期，預設 7 天
預設關閉，是刻意設計
內建規則包出廠即停用，且每條內建規則的動作都是 log。這是安全的上線路徑，不是缺口：先在你的真實流量上看清「本來會發生什麼」，用自己的誤報情況調好白名單，再在真正需要的地方啟用 mask 或 block。策略作用域可選全域 / access-key 組 / 單個 access key，規則支援熱重載。
#### log
觀察。發現項進控制台，只帶脫敏片段；請求本身不動。
#### mask
可還原地執行。上游看到佔位符；你的客戶端仍拿回真實值。
#### block
拒絕。請求被駁回，只帶規則類別與一個請求 id —— 絕不帶命中原文。
### 它是什麼，不是什麼
#### 它是什麼
- 跑在你自己的閘道器程式裡、作用於模型請求側，作用域可選全域 / access-key 組 / 單個 access key
- 控制台有獨立頁面：發現項檢視給 admin 與 monitor 角色、規則檢視給 admin、帶記憶體預算預檢的開關、熱重載、操作進稽核
- 試執行預覽介面：啟用之前先拿樣本試一條規則
- 每條發現項都能追溯到規則名、類別、嚴重級別、實際動作、命中次數、模型與 access-key 名稱

#### 不是什麼
- 不做回應內容檢測 —— 回應側只負責把佔位符還原
- 沒有 ML，不做越獄 / prompt 注入檢測，也不提供 moderation API：規則是確定性的
- 不做離線補審 —— 請求時沒掃的內容，之後不會再掃
- 不是 DLP 套件：不覆蓋終端、郵件或其他對外網路通道
- 沒有護照號 / SSN / 姓名 / 地址偵測器；已知殘餘缺口有文件記錄 —— base64 編碼的媒體葉子會跳過，跨兩個流式幀被切開的佔位符會原樣透過

## 你真正拿到的是什麼
企業採購最關心的三件事，在價格之前一次說清：合規能簽、帳單封頂、資料不外流。
### 法務能簽的 DPA
GDPR / CCPA 就緒，DPA 可直接簽。私有化部署下資料不出你的邊界，企業 SSO（OIDC / SAML 2.0）與 SCIM 2.0 佈建開箱可用。
- GDPR
- CCPA
- DPA
- SSO
- SCIM
- 稽核留痕
### 跑不掉的帳單
BYOK 直接向廠商付標準價——不收 token 差價、不按席位收費。按金鑰 / 專案設硬配額上限，防止跑飛的指令碼吃掉預算。
- 無 token 加價
- 0 席位費
- Prompt 快取
- 硬配額上限
- 30 天退款
### Prompt 根本不經過我們
全私有化部署——你的 prompt 和生成內容從不進入我們的系統。BYOK 金鑰僅存於閘道器記憶體，請求直達廠商官方 API，全程不出你的私有網路。
- 資料不出內網
- 金鑰不寫入資料庫
- TLS 1.3
- 客戶端准入
- 自主選型

## 全私有化 · 單機 2GB · 永不加收 Token 費用
BYOK（自帶金鑰）——你直接向廠商付標準價。我們按「單機 2GB」授權收費，不按席位、不按 Token 加價。更大記憶體或多機走企業版。
系統核心基於 Rust 打造。閘道器轉發口徑下，每 1GB 記憶體約可承載 100M Token/分鐘（TPM）、約 500 請求/分鐘（RPM），普通用量約 100 名使用者。以上為參考值：實際吞吐受你自己的模型廠商 rate limit 與請求複雜度約束，非 SLA 承諾。
所有檔位都含：BYOK 零加價 · 100+ 廠商路由 · 客戶端准入控制 · Prompt 快取 · 成本配額
### 免費版
$0
全私有化 · 單 license
512MB 單執行個體、無日誌留存 —— 適合評估與 POC，不適合生產流量。
- 100+ 大模型路由 · Fallback · 負載平衡
- 跨廠商模型混用 · Agent 內模型降級（plan 鎖定 / 非 plan 自動降級）
- 客戶端准入控制（User-Agent 策略）
- Prompt 快取
- BYOK（自帶金鑰，無加價）
- 512MB 記憶體上限 · SQLite · 單執行個體
- GitHub Actions Code Review（走自有閘道器）
- 日誌不保留
### Pro
$400
2GB 固定上限、不可加買。需要多節點、合規（Audit/DLP）或 Management API 請走企業版。
- 免費版所有能力
- 2GB 記憶體 · 單機（固定上限，不可加買）
- 日誌保留
- 企業 SSO（OIDC：Azure AD / Okta / 通用 OIDC，另含 SAML 2.0 + SCIM）
- PostgreSQL · 2GB 記憶體
- 郵件 / 工單支援
30 天內不滿意,100% 退款
### 企業版
$400/GB起
按記憶體容量 · 按年付 · 30 天內可退款
- Pro 所有能力
- 按記憶體容量計費（節點 × 記憶體，flat $400/GB/月）
- 多節點 / 叢集部署
- GitHub Actions Code Review（走自有閘道器）
- Microsoft 365 載入項（Excel/Word/PPT/Outlook·付費增值）
- 更長日誌保留
- 優先支援回應
- 合規（稽核 / DLP）
- Management API（程式化管理 API Key · 配額 · 用量查詢 · 稽核匯出）
需要更大容量或客製設定？
## 功能對比

| 能力 | 免費版 | Pro | 企業版 |
| --- | --- | --- | --- |
| 多模型路由 · Fallback · 負載平衡 | ✓ | ✓ | ✓ |
| 跨廠商模型混用（規劃/執行分廠商） | ✓ | ✓ | ✓ |
| Agent 內模型降級（plan 鎖定 / 非 plan 自動降級） | ✓ | ✓ | ✓ |
| Prompt 快取 | ✓ | ✓ | ✓ |
| BYOK（自帶金鑰，無加價） | ✓ | ✓ | ✓ |
| 記憶體檔位 | 512MB | 2GB（固定） | 可客製 |
| 儲存 / 資料庫 | SQLite（單執行個體） | PostgreSQL · 2GB | PostgreSQL + Redis 叢集 |
| 部署規模 | 1 個執行個體 | 1 個執行個體 · 單機 2GB | 多節點 / 叢集 |
| 每 GB 吞吐（參考值） | — | 2GB ≈ 200M TPM / 1,000 RPM | 每 GB ≈ 100M TPM / 500 RPM |
| 日誌保留 | 不保留 | 保留 | 更長保留 |
| SSO（OIDC / SAML 2.0） | — | ✓ | ✓ |
| SCIM 2.0 自動佈建 | — | ✓ | ✓ |
| 合規（稽核 / DLP） | — | — | ✓ |
| Management API（程式化管理 Key · 配額 · 用量 · 稽核） | — | — | ✓ |
| 自有價目表 / 價格快照（含私有議價價） | ✓ | ✓ | ✓ |
| 費用配額（日 / 月，三層繼承） | ✓ | ✓ | ✓ |
| 支援回應 | 社群 | 郵件 / 工單 | 優先回應 |
| 分模式模型治理（plan/execute 可強制） | ✓ | ✓ | ✓ |
| 客戶端准入控制（User-Agent 策略） | ✓ | ✓ | ✓ |
| GitHub Actions Code Review（走自有閘道器） | ✓ | ✓ | ✓ |
| Microsoft 365 載入項（Excel/Word/PPT/Outlook·自託管） | — | 附加購買 | 附加購買 |
| Purview 敏感度標籤門控（addin.access / file.upload） | — | — | ✓ |

## FAQ
### AI 閘道器會加多少延遲？

SaaS 閘道器會在你的網路之外多一跳。GateLLM 自託管在你的 VPC 內；到模型廠商 API 的多一跳是本地行程間通訊——亞毫秒開銷，對流式首 token 時延幾乎無影響。
### 供應商當機或撞 rate limit 怎麼辦？

直連單一供應商是單點故障。GateLLM 支援跨供應商 fallback——主用返回 5xx 或逾時即切到備用供應商，程式碼零改動。也可在同一上游掛多把 key：確定性雜湊把每個呼叫方粘到同一把 key（快取親和），某把失敗即換下一把未試過的 key 重試。
### 我到底需不需要閘道器？

誠實門檻：單一供應商、單一團隊、無合規約束、月度花費可控——直接調 API 即可，你不需要閘道器。當你需要多供應商 failover、按團隊的成本歸因、合規 / 資料駐留、或對失控支出的即時可見性時，閘道器才開始回本。
### BYOK 模式下，GateLLM 怎麼賺錢？

我們按單機 2GB 授權收費（Pro $400/月，年付 8 折 $3,840/年），不按 token 加價、不按席位收費。你直接向模型廠商支付標準價，GateLLM 不收中間差價。
### 我的 API Key 和資料會對外網路嗎？

不會。BYOK 模式下，API Key 僅儲存在閘道器記憶體中，不寫入資料庫、不傳輸。請求經閘道器路由後直達模型廠商官方 API，資料全程不出你的私有網路。
### 怎麼確認閘道器服務的是真模型，而非偷換的小模型？

用 SaaS 聚合器你只能信它一句話。GateLLM 是 BYOK + 自託管：用你自己的 key，請求從你的閘道器直達模型廠商 API 端點——模型身份由廠商 API 本身保證，中間沒有可被替換的一跳。

## 開始構建你的多模型 AI 應用
全私有化部署 · 單機 2GB · 永不加收 Token 費用。

## 相關頁面
- [定價](https://www.gatellm.io/zh-TW/pricing.md)
- [成本計算器](https://www.gatellm.io/zh-TW/calculator.md)
- [關於](https://www.gatellm.io/zh-TW/about.md)
- [預約示範](https://www.gatellm.io/zh-TW/demo.md)
- [常見問題](https://www.gatellm.io/zh-TW/faq.md)
- [比較 AI 閘道](https://www.gatellm.io/zh-TW/compare.md)
- [比較 LiteLLM](https://www.gatellm.io/zh-TW/compare/litellm.md)
- [比較 OpenRouter](https://www.gatellm.io/zh-TW/compare/openrouter.md)
- [比較 Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-TW/compare/alibaba-cloud.md)
- [比較 Azure API Management](https://www.gatellm.io/zh-TW/compare/azure-apim.md)
- [比較 Apigee](https://www.gatellm.io/zh-TW/compare/apigee.md)
- [比較 Cloudflare AI Gateway](https://www.gatellm.io/zh-TW/compare/cloudflare.md)
- [比較 Kong AI Gateway](https://www.gatellm.io/zh-TW/compare/kong.md)
- [比較 Portkey](https://www.gatellm.io/zh-TW/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey 比較](https://www.gatellm.io/zh-TW/compare/litellm-vs-portkey.md)
- [場景方案](https://www.gatellm.io/zh-TW/use-cases.md)
- [降低呼叫成本](https://www.gatellm.io/zh-TW/use-cases/reduce-cost.md)
- [達成高可用](https://www.gatellm.io/zh-TW/use-cases/high-availability.md)
- [多租戶隔離](https://www.gatellm.io/zh-TW/use-cases/multi-tenant.md)
- [合規與稽核](https://www.gatellm.io/zh-TW/use-cases/compliance-audit.md)
- [從症狀排障](https://www.gatellm.io/zh-TW/use-cases/troubleshooting.md)
- [混合多供應商模型堆疊](https://www.gatellm.io/zh-TW/use-cases/mixed-model-stack.md)
- [在 Office 內自架 AI](https://www.gatellm.io/zh-TW/use-cases/self-hosted-office-ai.md)
- [Token 用量可見性與歸因](https://www.gatellm.io/zh-TW/use-cases/token-ops.md)
- [Token FinOps: AI 支出分攤與管控](https://www.gatellm.io/zh-TW/use-cases/token-finops.md)
- [MCP 工具治理](https://www.gatellm.io/zh-TW/use-cases/mcp-tool-governance.md)
- [為所有模型統一加入網路搜尋](https://www.gatellm.io/zh-TW/use-cases/web-search-grounding.md)
- [多 Key 輪替與備援](https://www.gatellm.io/zh-TW/use-cases/multi-key-pooling.md)
- [限制接入的用戶端](https://www.gatellm.io/zh-TW/use-cases/client-admission-control.md)
- [強制模型使用政策](https://www.gatellm.io/zh-TW/use-cases/enforce-model-policy.md)
- [用戶端不暴露模型選擇](https://www.gatellm.io/zh-TW/use-cases/automatic-model-tiering.md)
- [一種協定,任何模型](https://www.gatellm.io/zh-TW/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 增益集](https://www.gatellm.io/zh-TW/office-addin.md)
- [術語表](https://www.gatellm.io/zh-TW/glossary.md)
- [模型目錄](https://www.gatellm.io/zh-TW/models.md)
- [SDK 與框架整合](https://www.gatellm.io/zh-TW/integrations.md)
- [AI Coding Agent 與 Harness](https://www.gatellm.io/zh-TW/coding-agents.md)
- [安全性與合規](https://www.gatellm.io/zh-TW/security.md)