頂尖模型規劃，開源 SOTA 執行，成本只要 1/7
規劃與複雜推理留給頂尖模型，常規執行交給開源 SOTA。組合把帳單壓到約 1/7 —— 數字在計算器中即時算出，不是寫死的宣傳語。
- ✓混用模型:Claude Opus 負責規劃、DeepSeek / Qwen 負責執行 — 成本約 1/7,最多降低 90%
- ✓由閘道決定哪個模型真的執行:不論用戶端設定什麼,落地模型都是管理員鎖定的那一個 — ingress 允許清單 + 「*」萬用字元對應
- ✓一種協定就夠:說 OpenAI 或 Anthropic,就能觸及四種對話協定家族(OpenAI / Anthropic / Gemini / DashScope)背後的模型 — 換模型不必改程式碼
- ✓資料留在本地:完全自架,提示詞不會送到我們這裡;憑證與 PII 在請求路徑上偵測 — 依範圍記錄 / 遮蔽 / 封鎖
from openai import OpenAI
# 只改一行：把 SDK 指向你自己的閘道器
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gateway-api-key",
)
# 原始碼不變 —— 閘道器按你在控制台的策略，把每個請求
# 路由到合適的模型檔位（規劃走頂尖模型、執行走開源模型）
resp = client.chat.completions.create(
model="claude-opus-5", # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "規劃整體架構"}],
)單一模型做不到、而閘道能做的三件事
混用模型以降低成本、強制實際執行的模型,並讓用戶端程式碼只維持一種協定。
已接入 100+ 大模型廠商 · 30+ SDK 與框架
- OpenAI
- Anthropic
- DeepSeek
- Qwen
- ERNIE
- Kimi
- Zhipu
- Mistral
- Cohere
自行核實
我們把檔案公開出來，而不是讓你只能相信我們的話。本頁每一條主張都有可查的憑證，在你聯絡我們之前就能讀完。
一個介面，混搭組合所有模型
從簡單的模型路由到多模型混搭組合，GateLLM 提供完整的企業級能力。
多模型路由
一個介面呼叫所有模型。智慧 fallback、負載平衡、自動重試。
- 100+ 大模型廠商統一 API
- 智慧 fallback 路由
- 負載平衡與速率限制
- 上游多 Key 池：同一呼叫方粘定一把 key，失敗自動換下一把
- Ollama / vLLM / llama.cpp 以 openai-compatible upstream 接入，同一套治理面
組合
分級路由按 plan 模式、身份或請求形態逐請求決策：規劃走頂尖模型，執行走開源 SOTA。閘道器改寫模型名——客戶端程式碼一行不改。
- plan 模式檢測：規劃走頂尖、執行走開源 —— 客戶端零改動
- 身份作用域模型映射：同一模型名按金鑰組路由到不同上游
- switch-route 規則：帶圖或特殊請求重定向到合適模型
- Agent 內降級:plan 鎖定 / 非 plan 自動降到便宜模型
多模型程式碼評審
同一 PR 上 2–3 個模型並行評審。閘道器提供協議互通與一把金鑰統一計量；扇出、合併與置信度評分都在開源編排 Action 裡。
- 閘道器協議互通：非 Anthropic 模型也能進 Anthropic-only 審查佇列
- 一把存取金鑰統一計量與管控整個扇出
- 扇出、[Consensus N/M] 評分與合併由 gatellm-io/gatellm-code-review 承擔（編排側）
MCP 工具治理
外部 MCP 工具伺服器聚合成統一 /mcp 入口：工具級 ACL、上下文預算、呼叫稽核。Agent 能用什麼工具，與能用哪些模型收進同一套權限面。
- 多 MCP 伺服器聚合為統一 /mcp 入口
- 金鑰組按工具 allow/deny + 按標籤過濾
- 工具多時內建 BM25 檢索定位
- REST 橋：一份簡化 spec 即可把 REST API 零程式碼暴露成 MCP 工具
- MCP 呼叫 / 違規 / 會話全稽核
聯網搜尋注入
給任意模型統一補上聯網搜尋：閘道器層檢索注入，按客戶端協議合成原生搜尋塊，開源模型也能 search grounding。
- 按協議合成原生搜尋塊（Anthropic / OpenAI / Responses）
- 模型級三態開關，失敗降級不阻塞請求
- 劫持搜尋不計入用量計費
成本管控
預算管理、速率限制、團隊成本歸因、分模式模型治理。永不加收 Token 費用，BYOK 自帶金鑰。
- 按專案、按功能成本歸因
- 軟預算告警
- BYOK：直接向廠商支付標準價格
- 分模式模型策略（plan/execute 可強制）
企業治理與整合
從客戶端准入到 CI/CD 整合，把閘道器能力延伸進你的研發與協作流程。
- 客戶端准入控制（User-Agent 策略）
- GitHub Actions Code Review 走自有閘道器
- 批次設定：暫存 → 預覽完整衝突集 → 單事務原子提交
Office / M365 載入項
付費增值在 Excel、Word、PowerPoint、Outlook 裡直接用你自己的模型閘道器 —— 自託管載入項、資料不出內網、對 pivot 零依賴。
- Excel 財務建模 / Word 合同審閱 / Outlook 收件箱
- Entra SSO + Purview 標籤門控
- 33 個內建領域 skill，付費增值
轉換指令碼
沙箱化 JavaScript 引擎（QuickJS）在閘道器處改寫請求與回應 JSON。控制台裡編輯即改即生效 —— 無需重新部署、無膠水程式碼。
- 請求側 before / after 雙 slot + 回應側 slot：譯前見客戶端原格式、譯後見上游格式
- context.useModel() 整體換路由 —— base_url、協議、憑證一起換
- 內建函式庫：json_path / str_* / regex_* / array_* / 編碼雜湊 / UUID + 時間
- 沙箱禁網禁檔案系統，支援失敗開/閉模式 + 控制台內建指令碼測試
模型混搭組合：拿到單模型給不了的品質
組合（Composition）是閘道器原生模式，多模型程式碼評審是閘道器使能的編排側模式 —— 兩者都建立在能力正規化層之上。
組合：分級路由跨模型
按 plan 模式、身份或請求形態路由：規劃留在頂尖模型，執行落到開源 SOTA。閘道器改寫模型名並翻譯協議——客戶端程式碼一行不改。
- ✓plan 模式檢測：規劃走頂尖、執行走開源 —— 客戶端零改動
- ✓身份作用域模型映射：同一模型名按金鑰組 / 請求標頭路由到不同上游
- ✓switch-route 規則：帶圖或特殊請求重定向到合適模型
- ✓無膠水程式碼 —— 協議翻譯由閘道器完成
- ✓策略可強制：管理員按 plan/execute 模式鎖定模型檔位，杜絕全程用最貴模型
// before-slot 轉換指令碼(JavaScript)—— 按 plan 模式切換執行模型。
// 掛載在控制台的入口模型上;路由前執行。
function transform(body, context) {
if (context.sourceProtocol !== "Anthropic") {
return body;
}
const EXEC_MODEL = "qwen3.8-max"; // 閘道器裡已設定的模型名
const PLAN = /plan mode is active/i;
const EXIT = /exited plan mode/i;
// 從最後一條帶標記的訊息取狀態:較後的標記勝出
const messages = body.messages || [];
for (let i = messages.length - 1; i >= 0; i--) {
const s = JSON.stringify(messages[i].content || "");
const inPlan = PLAN.test(s);
const exited = EXIT.test(s);
if (inPlan || exited) {
// 不在 plan 模式 → 把執行切到更省成本的模型
if (exited || !inPlan) context.useModel(EXEC_MODEL);
return body;
}
}
context.useModel(EXEC_MODEL);
return body;
}多模型程式碼評審（編排側）
閘道器使能、編排層執行：claude-code-action 只說 Anthropic 協議，透過閘道器協議互通，qwen3.8-max、kimi-k3 等非 Anthropic 模型才能進評審佇列。一把閘道器存取金鑰統一計量每個評審模型。
- ✓[Consensus N/M] 置信度標註、合併與去重由 Action 產出
- ✓每個評審模型獨立計費，由閘道器統一歸集
- ✓PR 行數閘門與歷史評論摺疊內建於 Action
三步拿到第一個 token
三步完成從單模型到多模型混搭組合的升級，無需重寫業務程式碼。任意一種 SDK（OpenAI / Anthropic / Gemini / DashScope）都能接。
部署閘道器
Docker 一鍵啟動，或 Kubernetes Helm 部署到私有環境。
設定金鑰
BYOK 模式：填入你已有的各模型廠商 API Key，資料不出內網，不寫入資料庫。
替換 Endpoint
將 OpenAI SDK 的 base_url 指向 GateLLM，即可用統一介面呼叫所有模型。
或者交給你的 agent
把下面這段貼給你的 coding agent
安裝並設定 GateLLM 閘道器。請先用 curl 取回這份安裝指南的原始 Markdown，從頭到尾讀完後逐步執行（步驟間有先後順序依賴，例如金鑰組必須先於存取金鑰建立，不要跳讀）：
curl -fsSL https://docs.gatellm.io/zh-CN/quickstart/docker-single-node.md你只需要提供一樣東西：上游廠商的 API Key。其餘由 agent 自己生成，並透過 Console API 完成設定——不開啟瀏覽器，第一個請求返回生成內容即完成。
或者自己動手
docker run -d \
--name gatellm \
-p 7890:7890 \
-e CONSOLE_PASSWORD=change-me-on-first-login \
-e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
-e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
-e STORAGE_MODE=sqlite \
-v gatellm-data:/var/lib/protoflux \
ghcr.io/gatellm-io/gatellm:latest執行前替換三個佔位值——安裝指南裡寫明了每個值是什麼，以及原樣保留為什麼不安全。
# 只需改一行：把 base_url 指向 GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# 原有程式碼完全不用改，直接呼叫任意模型
response = client.chat.completions.create(
model="claude-opus-5", # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "你好"}]
)GitHub 上的可執行範例——Docker Compose，以及只需修改 base_url 的 Python / TypeScript SDK 片段
帶上你已有的 SDK，只改一行
兩側（你的 SDK 與模型廠商）都說同一套四種協議。任意雙向轉換、零膠水程式碼，覆蓋對話、影像、語音、影片、即時語音，外加 embedding 與 rerank。
相容你正在用的 SDK
一行程式碼，把任意 SDK 或框架接到閘道器。OpenAI、Anthropic、Gemini、DashScope 原生接入；LangChain、LlamaIndex、CrewAI、Vercel AI SDK 等 30+ 框架同樣只換 base_url。
base_url 指向閘道器
預設 https://your-gateway.gatellm.io —— 是否含 /v1 因 SDK 而異（每個示例給出確切值）。
換成閘道器 access key
不是上游的 sk-… 金鑰 —— 同一把 access key 裝進你 SDK 期望的任意 header。
模型名用閘道器設定名
是你在控制台設定的名字 —— 不是廠商官方名。
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>官方廠商 SDK
OpenAI / Anthropic / Google SDK 原生接入 —— 只改 base_url
統一 SDK / 閘道器層
Vercel AI SDK、LiteLLM、Portkey、Semantic Kernel、Spring AI
編排框架
LangChain、LlamaIndex、CrewAI、AutoGen、DSPy、Haystack
Agent SDK
OpenAI Agents、Claude Agent、Pydantic AI、ADK、Mastra
本地 / 自託管
Ollama、vLLM、llama.cpp 作上游 —— 客戶端 SDK 不變
把任意 AI coding agent 指到閘道器
檢視全部 coding agent 接入方式 → ↗它調的是 Responses API，不是 Chat Completions。上游是 openai（Chat）協議時，用 OpenAIChatCompletionsModel 顯式切到 Chat；上游本身是 openai_response 時，字串模型名直接用。
OpenAI 類只認它認識的一系列名稱，會拒絕自訂閘道器名 —— 用 OpenAILike（Python）或顯式宣告模型資訊繞過。
base_url 不是框架引數 —— 是 OPENAI_API_BASE 環境變數，而且 model 要帶 openai/ 字首。
OpenAI SDK 帶 /v1；Anthropic SDK 指閘道器根（它自己拼 /v1/messages）；Vercel AI SDK 的 createAnthropic 要帶 /v1（它自己拼 /messages）。拼錯會多一段或少一段路徑。
# base_url 約定因 SDK 而異 —— 匹配你正在用的那個
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK：帶 /v1
import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK：根（自己拼 /v1/messages）
# Vercel AI SDK 的 createAnthropic：baseURL 要 ".../v1"（自己拼 /messages）—— 正好相反
# LangChain ChatOpenAI：base_url="https://your-gateway.gatellm.io/v1"能力正規化：讓跨廠商混搭成為可能
跨廠商混搭依託能力正規化層——統一七個耦合點，切換模型再也不用重寫膠水程式碼。
Tool Calling 正規化
OpenAI / Anthropic / Gemini / 陸系模型的 tool calling schema 各不相同。我們在底層統一抽象，讓你寫一次程式碼呼叫所有模型。
結構化輸出相容
每家用不同協議（strict JSON schema、json_mode、tool_use）。我們統一為一致的介面。
Prompt 快取統一
Anthropic cache_control、OpenAI 自動快取、Gemini context——各家機制不同。我們提供統一的快取策略。
推理 Token 適配
o1 / Claude thinking / DeepSeek R1 輸出格式不同。我們適配各家推理 token 協議。
多模態格式支援
vision / audio / 檔案上傳各家協議不同。我們統一多模態輸入格式。
計費模型抽象
每家 pricing 結構不同。我們抽象為統一的成本追蹤介面。
錯誤語義正規化
各廠商錯誤碼與錯誤體各不相同。我們正規化為統一錯誤體，z-request-id 端到端關聯每個請求。
資料流向：不出內網，不寫入資料庫
BYOK 模式下，API Key 僅儲存在閘道器記憶體中，不寫入資料庫、不傳輸。請求經閘道器路由後直達模型廠商官方 API，資料全程不出你的私有網路。
為什麼是約 1/7 的成本？
以日均 10 億 token 的企業使用者為例：同一批任務，看「全程頂尖模型」與「頂尖模型規劃 + 開源模型執行」的帳單差多少。
Claude Opus 5 規劃 + 執行，全部走頂尖模型
約 90% 執行走開源 SOTA，關鍵 10% 規劃留頂尖模型
省錢三來源：
- 1.BYOK 無 token 加價——你直接向廠商付標準價，GateLLM 不收中間差價（聚合商通常在廠商標準價之上另收平台費與支付費）；
- 2.組合——開源 SOTA 模型（GLM / Qwen / DeepSeek）承擔分類、抽取、翻譯等大部分執行量，頂尖閉源模型（如 Claude Opus）只用於規劃與複雜推理；
- 3.Prompt 快取——高頻呼叫命中快取，單價再降 50%–90%。
數字為基於公開定價的示意模型，實際省錢幅度取決於業務場景與混搭比例。Pro 授權費 $400/月（2GB 單機）已包含在 GateLLM 方案內。
用量看得見，費用算得準，預算卡得住
Token Ops 管誰在用、用了多少；Token FinOps 管 token 怎麼記帳、超了怎麼卡。一套控制平面，讓 AI 支出像雲支出一樣可運營。
用量與成本可觀測
按模型、按存取金鑰、按金鑰組三維度拆解每一次呼叫的 token 用量與花費，輸入 / 輸出 / 快取命中分開計量，1 分鐘粒度持久化。
- 按模型 / 金鑰 / 金鑰組三維度歸集
- 輸入 · 輸出 · 快取讀分開計量
- 24h / 7d / 30d / 自訂時序
客戶端准入與稽核留痕
只讓批准過的客戶端接入閘道器：按 User-Agent 放行、限流或拒絕。所有呼叫留下可稽核記錄，滿足終端治理與合規取證。
- 客戶端准入控制（User-Agent 策略）
- 呼叫留痕與日誌保留（Pro 起）
- 稽核 / DLP 介接（企業版）
Management API（程式化管理）
企業版透過 API 程式化管理閘道器：建立 / 吊銷 API Key、設配額與預算、查詢用量與成本、匯出稽核日誌，接入你的內部維運與計費系統。
- API Key 程式化建立 / 吊銷
- 配額與預算程式化管理
- 用量與成本查詢 API
- 稽核日誌匯出
自有價目表與價格快照
把你談下來的私有價手動錄入閘道器，成為權威價：系統重新整理不覆寫。每條價格帶生效時間段，降價可提前錄，改價不追溯歷史成本。
- 私有價 pinned 遮蔽 auto、重新整理不覆寫
- 價格快照按時間分段生效
- 回填歷史價 / 預設降價生效日
- Token · 按次 · 按時長三種計費模式
標籤歸集與帳單分攤
給金鑰 / 金鑰組打標籤，按標籤彙總用量與費用，把 token 成本歸集到成本中心。Excel 匯出按模型 × 金鑰拆細帳，支撐內部分攤。
- 金鑰 / 金鑰組自由打標籤
- 按標籤彙總用量與費用
- Excel 匯出 6 張 sheet（含金鑰 × 模型）
- 支援內部 showback / chargeback
費用配額與限流
給每個金鑰設日 / 月費用上限，UTC 自然日、自然月獨立判定，任一觸頂即攔。配額按金鑰 → 金鑰組 → 全域三層繼承，多組取最寬。
- 日 / 月費用上限（獨立判定）
- 金鑰 → 組 → 全域三層繼承
- 觸頂 429 quota_exceeded，日度帶 Retry-After
GateLLM vs LiteLLM
一份可溯源的對等對比。有些機制只有 GateLLM 具備、LiteLLM 沒有；雙方共享一份共同的基準；少數幾項是形態不同。請依據上面兩層做決定，而不是行銷噪音。
只有 GateLLM 做得到
LiteLLM 沒有的機制 —— 每項能力下方用一行說明「怎麼做到的」。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| 條件模型切換控制台宣告式 switch-route 規則 + 內建 plan 模式檢測 + context.useModel() 指令碼 —— 客戶端零改動。LiteLLM 需自寫 Python callback。 | 支援 | 不支援 |
| 跨協議模型 / SDK 混用原生任意 A→B 入口 —— 用 Anthropic SDK 調 GPT、用 Gemini SDK 調 DeepSeek。LiteLLM 以 OpenAI 為中心，反向走相容轉接層。 | 支援 | 不支援 |
| 單事務設定提交暫存 → 預覽完整衝突集 → 原子提交，任一衝突整批復原。 | 支援 | 不支援 |
| 成本配額硬閘日 / 月雙週期到頂即返回 429 quota_exceeded。LiteLLM 只有預算告警。 | 支援 | 不支援 |
| 當機安全計費預扣 → 結算 → 退款 + in-flight 臺帳 —— 程式當機後帳目仍正確。 | 支援 | 不支援 |
| 上游 key 池加權 + 粘性繫結FNV-1a 加權雜湊把同一呼叫方粘定到一把 key，失敗換下一把未試 key；weight=0 備用。 | 支援 | 不支援 |
| 三種計費模式 + 多幣種Token / 按次 / 按時長 + USD/CNY/EUR/JPY/GBP + 自訂維度。LiteLLM 僅按 token 追蹤。 | 支援 | 不支援 |
| 上游 SSO 憑證登入可接入無靜態 key 的廠商（如 Kiro）。LiteLLM 僅支援靜態 API key。 | 支援 | 不支援 |
| 能力後設資料登錄檔驅動自動注入與降級；新模型能力漂移免改程式碼。 | 支援 | 不支援 |
| LTS 長期支援分支N-1 + LTS 分支（見 /lifecycle）。LiteLLM 僅支援最近 4 個 minor 線。 | 支援 | 不支援 |
雙方都做得到
共同的基準 —— 選哪個都能覆蓋這一層。決定在上下兩層。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| API 路由 · fallback · 負載平衡 | 支援 | 支援 |
| BYOK 無 token 加價 | 支援 | 支援 |
| 全私有化部署 / 資料不出內網 | 支援 | 支援 |
| Tool Calling 跨廠商正規化 | 支援 | 支援 |
| 結構化輸出（JSON Schema）正規化 | 支援 | 支援 |
| 推理 token（thinking）正規化 | 支援 | 支援 |
| 跨模型 Prompt 快取 | 支援 | 支援 |
| 聯網搜尋注入 | 支援 | 支援 |
| MCP 閘道器（工具聚合） | 支援 | 支援 |
| 視覺化控制台 | 支援 | 支援 |
| 稽核日誌與用量 / 成本核算 | 支援 | 支援 |
已對照各產品官方文件核實（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企業版授權；細節可能漂移，採購前請以官方源為準。
在請求側識別金鑰與敏感資訊，處置方式由你決定
一套確定性規則引擎檢查每個模型請求裡的憑證格式與 PII，記錄命中情況、但不記錄命中的原文。內建規則出廠即停用、動作停在觀察態；由你啟用，並按作用域選擇 log、mask 或 block。識別路徑裡沒有模型。
確定性識別，路徑裡沒有模型
構造上就是確定性的：先做字面量探針，再做要求上下文詞的 regex 規則，最後過驗證位 —— 銀行卡走 Luhn、IBAN 走 mod-97、居民身份證號走驗證位，另有 PEM 與 OpenSSH 私鑰塊、IPv4。
- 憑證格式：模型廠商 API key、雲廠商 access key、GitHub 與 GitLab token、JWT、PEM 與 OpenSSH 私鑰、Slack token
- PII 類別：中國大陸手機號、居民身份證號、銀行卡號、IBAN、信箱地址、IPv4 地址
- 多輪會話只掃新增部分 —— 游標雜湊鏈讓長會話不重複掃已經放行的文字
mask 對客戶端可還原，block 不洩露命中內容
選 mask：上游模型收到帶編號的佔位符，你的客戶端拿回還原後的真實值 —— 流式回應按 SSE 幀逐幀還原。選 block：請求被駁回，只帶規則類別與一個請求 id，絕不帶命中的原文。
- 上游看到佔位符；資料的主人看到自己的原值被還原回來
- 長貼上不豁免 —— 超長字串先溢寫到磁碟，再按固定大小視窗回掃，記憶體佔用與內容長度無關
- 白名單按值匹配、絕不按路徑匹配：放行一個測試 key，不會順手豁免整個欄位
日誌正文：原樣儲存，每個出口都脫敏
出廠映像裡請求日誌預設不寫入資料庫。開啟之後，正文按收到的原樣儲存，並在每個出口面脫敏 —— Console API 預設脫敏，SSE 與終端輸出始終脫敏，脫敏失敗即關閉該回應，而不是從失敗裡漏出去。
- 檢視原文是一次顯式操作：admin 角色加一個顯式的 reveal 開關，並且被稽核、被計數
- 脫敏覆蓋敏感 body 欄位、敏感 query 與 URL 引數、靜態與自訂認證方案的請求標頭，以及 bearer token 值（部分保留以便辨識）
- 發現項只留脫敏片段與命中處有界的上下文，不留命中原文；發現項與日誌共用留存期，預設 7 天
預設關閉，是刻意設計
內建規則包出廠即停用，且每條內建規則的動作都是 log。這是安全的上線路徑，不是缺口：先在你的真實流量上看清「本來會發生什麼」，用自己的誤報情況調好白名單，再在真正需要的地方啟用 mask 或 block。策略作用域可選全域 / access-key 組 / 單個 access key，規則支援熱重載。
- 1
log觀察。發現項進控制台，只帶脫敏片段；請求本身不動。
- 2
mask可還原地執行。上游看到佔位符；你的客戶端仍拿回真實值。
- 3
block拒絕。請求被駁回，只帶規則類別與一個請求 id —— 絕不帶命中原文。
它是什麼，不是什麼
它是什麼
- 跑在你自己的閘道器程式裡、作用於模型請求側，作用域可選全域 / access-key 組 / 單個 access key
- 控制台有獨立頁面：發現項檢視給 admin 與 monitor 角色、規則檢視給 admin、帶記憶體預算預檢的開關、熱重載、操作進稽核
- 試執行預覽介面：啟用之前先拿樣本試一條規則
- 每條發現項都能追溯到規則名、類別、嚴重級別、實際動作、命中次數、模型與 access-key 名稱
不是什麼
- 不做回應內容檢測 —— 回應側只負責把佔位符還原
- 沒有 ML，不做越獄 / prompt 注入檢測，也不提供 moderation API：規則是確定性的
- 不做離線補審 —— 請求時沒掃的內容，之後不會再掃
- 不是 DLP 套件：不覆蓋終端、郵件或其他對外網路通道
- 沒有護照號 / SSN / 姓名 / 地址偵測器；已知殘餘缺口有文件記錄 —— base64 編碼的媒體葉子會跳過，跨兩個流式幀被切開的佔位符會原樣透過
你真正拿到的是什麼
企業採購最關心的三件事，在價格之前一次說清：合規能簽、帳單封頂、資料不外流。
法務能簽的 DPA
GDPR / CCPA 就緒，DPA 可直接簽。私有化部署下資料不出你的邊界，企業 SSO（OIDC / SAML 2.0）與 SCIM 2.0 佈建開箱可用。
跑不掉的帳單
BYOK 直接向廠商付標準價——不收 token 差價、不按席位收費。按金鑰 / 專案設硬配額上限，防止跑飛的指令碼吃掉預算。
Prompt 根本不經過我們
全私有化部署——你的 prompt 和生成內容從不進入我們的系統。BYOK 金鑰僅存於閘道器記憶體，請求直達廠商官方 API，全程不出你的私有網路。
全私有化 · 單機 2GB · 永不加收 Token 費用
BYOK（自帶金鑰）——你直接向廠商付標準價。我們按「單機 2GB」授權收費，不按席位、不按 Token 加價。更大記憶體或多機走企業版。
所有檔位都含：BYOK 零加價 · 100+ 廠商路由 · 客戶端准入控制 · Prompt 快取 · 成本配額
免費版
全私有化 · 單 license
512MB 單執行個體、無日誌留存 —— 適合評估與 POC，不適合生產流量。
- ✓100+ 大模型路由 · Fallback · 負載平衡
- ✓跨廠商模型混用 · Agent 內模型降級（plan 鎖定 / 非 plan 自動降級）
- ✓客戶端准入控制（User-Agent 策略）
- ✓Prompt 快取
- ✓BYOK（自帶金鑰，無加價）
- ✓512MB 記憶體上限 · SQLite · 單執行個體
- ✓GitHub Actions Code Review（走自有閘道器）
- ✓日誌不保留
Pro
/ 月 · 2GB 單機（固定上限）· 21 天免費試用
2GB 固定上限、不可加買。需要多節點、合規（Audit/DLP）或 Management API 請走企業版。
- ✓免費版所有能力
- ✓2GB 記憶體 · 單機（固定上限，不可加買）
- ✓日誌保留
- ✓企業 SSO（OIDC：Azure AD / Okta / 通用 OIDC，另含 SAML 2.0 + SCIM）
- ✓PostgreSQL · 2GB 記憶體
- ✓郵件 / 工單支援
30 天內不滿意,100% 退款
企業版
按記憶體容量 · 按年付 · 30 天內可退款
- ✓Pro 所有能力
- ✓按記憶體容量計費（節點 × 記憶體，flat $400/GB/月）
- ✓多節點 / 叢集部署
- ✓GitHub Actions Code Review（走自有閘道器）
- ✓Microsoft 365 載入項（Excel/Word/PPT/Outlook·付費增值）
- ✓更長日誌保留
- ✓優先支援回應
- ✓合規（稽核 / DLP）
- ✓Management API（程式化管理 API Key · 配額 · 用量查詢 · 稽核匯出）
需要更大容量或客製設定？ 聯絡我們 →
功能對比
| 能力 | 免費版 | Pro | 企業版 |
|---|---|---|---|
| 多模型路由 · Fallback · 負載平衡 | ✓ | ✓ | ✓ |
| 跨廠商模型混用（規劃/執行分廠商） | ✓ | ✓ | ✓ |
| Agent 內模型降級（plan 鎖定 / 非 plan 自動降級） | ✓ | ✓ | ✓ |
| Prompt 快取 | ✓ | ✓ | ✓ |
| BYOK（自帶金鑰，無加價） | ✓ | ✓ | ✓ |
| 記憶體檔位 | 512MB | 2GB（固定） | 可客製 |
| 儲存 / 資料庫 | SQLite（單執行個體） | PostgreSQL · 2GB | PostgreSQL + Redis 叢集 |
| 部署規模 | 1 個執行個體 | 1 個執行個體 · 單機 2GB | 多節點 / 叢集 |
| 每 GB 吞吐（參考值） | — | 2GB ≈ 200M TPM / 1,000 RPM | 每 GB ≈ 100M TPM / 500 RPM |
| 日誌保留 | 不保留 | 保留 | 更長保留 |
| SSO（OIDC / SAML 2.0） | — | ✓ | ✓ |
| SCIM 2.0 自動佈建 | — | ✓ | ✓ |
| 合規（稽核 / DLP） | — | — | ✓ |
| Management API（程式化管理 Key · 配額 · 用量 · 稽核） | — | — | ✓ |
| 自有價目表 / 價格快照（含私有議價價） | ✓ | ✓ | ✓ |
| 費用配額（日 / 月，三層繼承） | ✓ | ✓ | ✓ |
| 支援回應 | 社群 | 郵件 / 工單 | 優先回應 |
| 分模式模型治理（plan/execute 可強制） | ✓ | ✓ | ✓ |
| 客戶端准入控制（User-Agent 策略） | ✓ | ✓ | ✓ |
| GitHub Actions Code Review（走自有閘道器） | ✓ | ✓ | ✓ |
| Microsoft 365 載入項（Excel/Word/PPT/Outlook·自託管） | — | 附加購買 | 附加購買 |
| Purview 敏感度標籤門控（addin.access / file.upload） | — | — | ✓ |