顶尖模型规划，开源 SOTA 执行，成本只要 1/7
规划与复杂推理留给顶尖模型，常规执行交给开源 SOTA。组合把账单压到约 1/7 —— 数字在计算器中实时算出，不是写死的宣传语。
- ✓模型混用：Claude Opus 做规划、DeepSeek / Qwen 做执行 —— 成本约 1/7，最高降低 90%
- ✓模型由网关说了算：不管客户端配了什么模型，落地的都是管理员锁定的那个 —— 准入白名单 + "*" 兜底映射
- ✓一套协议接任意模型：只对接 OpenAI 或 Anthropic，就能调用四大对话协议族（OpenAI / Anthropic / Gemini / DashScope）背后的模型 —— 换模型不改代码
- ✓数据不出内网：全私有化部署，prompt 从不进入我们系统；凭据与 PII 在请求侧识别，按作用域 log / mask / block
from openai import OpenAI
# 只改一行：把 SDK 指向你自己的网关
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gateway-api-key",
)
# 原代码不变 —— 网关按你在控制台的策略，把每个请求
# 路由到合适的模型档位（规划走顶尖模型、执行走开源模型）
resp = client.chat.completions.create(
model="claude-opus-5", # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "规划整体架构"}],
)三件事，网关替你做到
模型混用降本、模型由网关强制指定、客户端只对接一种协议。
已接入 100+ 大模型厂商 · 30+ SDK 与框架
- OpenAI
- Anthropic
- DeepSeek
- Qwen
- ERNIE
- Kimi
- Zhipu
- Mistral
- Cohere
自行核实
我们把文件公开出来，而不是让你只能相信我们的话。本页每一条主张都有可查的凭据，在你联系我们之前就能读完。
一个接口，混搭组合所有模型
从简单的模型路由到多模型混搭组合，GateLLM 提供完整的企业级能力。
多模型路由
一个接口调用所有模型。智能 fallback、负载均衡、自动重试。
- 100+ 大模型厂商统一 API
- 智能 fallback 路由
- 负载均衡与速率限制
- 上游多 Key 池：同一调用方粘定一把 key，失败自动换下一把
- Ollama / vLLM / llama.cpp 以 openai-compatible upstream 接入，同一套治理面
组合
分级路由按 plan 模式、身份或请求形态逐请求决策：规划走顶尖模型，执行走开源 SOTA。网关改写模型名——客户端代码一行不改。
- plan 模式检测：规划走顶尖、执行走开源 —— 客户端零改动
- 身份作用域模型映射：同一模型名按密钥组路由到不同上游
- switch-route 规则：带图或特殊请求重定向到合适模型
- Agent 内降级:plan 锁定 / 非 plan 自动降到便宜模型
多模型代码评审
同一 PR 上 2–3 个模型并行评审。网关提供协议互通与一把密钥统一计量；扇出、合并与置信度评分都在开源编排 Action 里。
- 网关协议互通：非 Anthropic 模型也能进 Anthropic-only 审查队列
- 一把访问密钥统一计量与管控整个扇出
- 扇出、[Consensus N/M] 评分与合并由 gatellm-io/gatellm-code-review 承担（编排侧）
MCP 工具治理
外部 MCP 工具服务器聚合成统一 /mcp 入口：工具级 ACL、上下文预算、调用审计。Agent 能用什么工具，与能用哪些模型收进同一套权限面。
- 多 MCP 服务器聚合为统一 /mcp 入口
- 密钥组按工具 allow/deny + 按标签过滤
- 工具多时内置 BM25 检索定位
- REST 桥：一份简化 spec 即可把 REST API 零代码暴露成 MCP 工具
- MCP 调用 / 违规 / 会话全审计
联网搜索注入
给任意模型统一补上联网搜索：网关层检索注入，按客户端协议合成原生搜索块，开源模型也能 search grounding。
- 按协议合成原生搜索块（Anthropic / OpenAI / Responses）
- 模型级三态开关，失败降级不阻塞请求
- 劫持搜索不计入用量计费
成本管控
预算管理、速率限制、团队成本归因、分模式模型治理。永不加收 Token 费用，BYOK 自带密钥。
- 按项目、按功能成本归因
- 软预算告警
- BYOK：直接向厂商支付标准价格
- 分模式模型策略（plan/execute 可强制）
企业治理与集成
从客户端准入到 CI/CD 集成，把网关能力延伸进你的研发与协作流程。
- 客户端准入控制（User-Agent 策略）
- GitHub Actions Code Review 走自有网关
- 批量配置：暂存 → 预览完整冲突集 → 单事务原子提交
Office / M365 加载项
付费增值在 Excel、Word、PowerPoint、Outlook 里直接用你自己的模型网关 —— 自托管加载项、数据不出内网、对 pivot 零依赖。
- Excel 财务建模 / Word 合同审阅 / Outlook 收件箱
- Entra SSO + Purview 标签门控
- 33 个内置领域 skill，付费增值
转换脚本
沙箱化 JavaScript 引擎（QuickJS）在网关处改写请求与响应 JSON。控制台里编辑即改即生效 —— 无需重新部署、无胶水代码。
- 请求侧 before / after 双 slot + 响应侧 slot：译前见客户端原格式、译后见上游格式
- context.useModel() 整体换路由 —— base_url、协议、凭证一起换
- 内置函数库：json_path / str_* / regex_* / array_* / 编码哈希 / UUID + 时间
- 沙箱禁网禁文件系统，支持失败开/闭模式 + 控制台内置脚本测试
模型混搭组合：拿到单模型给不了的质量
组合（Composition）是网关原生模式，多模型代码评审是网关使能的编排侧模式 —— 两者都建立在能力归一化层之上。
组合：分级路由跨模型
按 plan 模式、身份或请求形态路由：规划留在顶尖模型，执行落到开源 SOTA。网关改写模型名并翻译协议——客户端代码一行不改。
- ✓plan 模式检测：规划走顶尖、执行走开源 —— 客户端零改动
- ✓身份作用域模型映射：同一模型名按密钥组 / 请求头路由到不同上游
- ✓switch-route 规则：带图或特殊请求重定向到合适模型
- ✓无胶水代码 —— 协议翻译由网关完成
- ✓策略可强制：管理员按 plan/execute 模式锁定模型档位，杜绝全程用最贵模型
// before-slot 转换脚本(JavaScript)—— 按 plan 模式切换执行模型。
// 挂载在控制台的入口模型上;路由前执行。
function transform(body, context) {
if (context.sourceProtocol !== "Anthropic") {
return body;
}
const EXEC_MODEL = "qwen3.8-max"; // 网关里已配置的模型名
const PLAN = /plan mode is active/i;
const EXIT = /exited plan mode/i;
// 从最后一条带标记的消息取状态:靠后的标记胜出
const messages = body.messages || [];
for (let i = messages.length - 1; i >= 0; i--) {
const s = JSON.stringify(messages[i].content || "");
const inPlan = PLAN.test(s);
const exited = EXIT.test(s);
if (inPlan || exited) {
// 不在 plan 模式 → 把执行切到更省成本的模型
if (exited || !inPlan) context.useModel(EXEC_MODEL);
return body;
}
}
context.useModel(EXEC_MODEL);
return body;
}多模型代码评审（编排侧）
网关使能、编排层运行：claude-code-action 只说 Anthropic 协议，靠网关协议互通，qwen3.8-max、kimi-k3 等非 Anthropic 模型才能进评审队列。一把网关访问密钥统一计量每个评审模型。
- ✓[Consensus N/M] 置信度标注、合并与去重由 Action 产出
- ✓每个评审模型独立计费，由网关统一归集
- ✓PR 行数闸门与历史评论折叠内置于 Action
三步拿到第一个 token
三步完成从单模型到多模型混搭组合的升级，无需重写业务代码。任意一种 SDK（OpenAI / Anthropic / Gemini / DashScope）都能接。
部署网关
Docker 一键启动，或 Kubernetes Helm 部署到私有环境。
配置密钥
BYOK 模式：填入你已有的各模型厂商 API Key，数据不出内网，不落库。
替换 Endpoint
将 OpenAI SDK 的 base_url 指向 GateLLM，即可用统一接口调用所有模型。
或者交给你的 agent
把下面这段贴给你的 coding agent
安装并配置 GateLLM 网关。请先用 curl 取回这份安装指南的原始 Markdown，从头到尾读完后逐步执行（步骤间有先后顺序依赖，例如密钥组必须先于访问密钥建立，不要跳读）：
curl -fsSL https://docs.gatellm.io/zh-CN/quickstart/docker-single-node.md你只需要提供一样东西：上游厂商的 API Key。其余由 agent 自己生成，并通过 Console API 完成配置——不打开浏览器，第一个请求返回补全即完成。
或者自己动手
docker run -d \
--name gatellm \
-p 7890:7890 \
-e CONSOLE_PASSWORD=change-me-on-first-login \
-e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
-e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
-e STORAGE_MODE=sqlite \
-v gatellm-data:/var/lib/protoflux \
ghcr.io/gatellm-io/gatellm:latest运行前替换三个占位值——安装指南里写明了每个值是什么，以及原样保留为什么不安全。
# 只需改一行：把 base_url 指向 GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# 原有代码完全不用改，直接调用任意模型
response = client.chat.completions.create(
model="claude-opus-5", # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "你好"}]
)GitHub 上的可运行示例——Docker Compose，以及只改 base_url 的 Python / TypeScript SDK 片段
带上你已有的 SDK，只改一行
两侧（你的 SDK 与模型厂商）都说同一套四种协议。任意双向转换、零胶水代码，覆盖对话、图像、语音、视频、实时语音，外加 embedding 与 rerank。
兼容你正在用的 SDK
一行代码，把任意 SDK 或框架接到网关。OpenAI、Anthropic、Gemini、DashScope 原生接入；LangChain、LlamaIndex、CrewAI、Vercel AI SDK 等 30+ 框架同样只换 base_url。
base_url 指向网关
默认 https://your-gateway.gatellm.io —— 是否含 /v1 因 SDK 而异（每个示例给出确切值）。
换成网关 access key
不是上游的 sk-… 密钥 —— 同一把 access key 装进你 SDK 期望的任意 header。
模型名用网关配置名
是你在控制台配置的名字 —— 不是厂商官方名。
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>官方厂商 SDK
OpenAI / Anthropic / Google SDK 原生接入 —— 只改 base_url
统一 SDK / 网关层
Vercel AI SDK、LiteLLM、Portkey、Semantic Kernel、Spring AI
编排框架
LangChain、LlamaIndex、CrewAI、AutoGen、DSPy、Haystack
Agent SDK
OpenAI Agents、Claude Agent、Pydantic AI、ADK、Mastra
本地 / 自托管
Ollama、vLLM、llama.cpp 作上游 —— 客户端 SDK 不变
把任意 AI coding agent 指到网关
查看全部 coding agent 接入方式 → ↗它调的是 Responses API，不是 Chat Completions。上游是 openai（Chat）协议时，用 OpenAIChatCompletionsModel 显式切到 Chat；上游本身是 openai_response 时，字符串模型名直接用。
OpenAI 类只认它认识的一系列名称，会拒绝自定义网关名 —— 用 OpenAILike（Python）或显式声明模型信息绕过。
base_url 不是框架参数 —— 是 OPENAI_API_BASE 环境变量，而且 model 要带 openai/ 前缀。
OpenAI SDK 带 /v1；Anthropic SDK 指网关根（它自己拼 /v1/messages）；Vercel AI SDK 的 createAnthropic 要带 /v1（它自己拼 /messages）。拼错会多一段或少一段路径。
# base_url 约定因 SDK 而异 —— 匹配你正在用的那个
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK：带 /v1
import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK：根（自己拼 /v1/messages）
# Vercel AI SDK 的 createAnthropic：baseURL 要 ".../v1"（自己拼 /messages）—— 正好相反
# LangChain ChatOpenAI：base_url="https://your-gateway.gatellm.io/v1"能力归一化：让跨厂商混搭成为可能
跨厂商混搭依托能力归一化层——统一七个耦合点，切换模型再也不用重写胶水代码。
Tool Calling 归一化
OpenAI / Anthropic / Gemini / 国产模型的 tool calling schema 各不相同。我们在底层统一抽象，让你写一次代码调用所有模型。
结构化输出兼容
每家用不同协议（strict JSON schema、json_mode、tool_use）。我们统一为一致的接口。
Prompt 缓存统一
Anthropic cache_control、OpenAI 自动缓存、Gemini context——各家机制不同。我们提供统一的缓存策略。
推理 Token 适配
o1 / Claude thinking / DeepSeek R1 输出格式不同。我们适配各家推理 token 协议。
多模态格式支持
vision / audio / 文件上传各家协议不同。我们统一多模态输入格式。
计费模型抽象
每家 pricing 结构不同。我们抽象为统一的成本追踪接口。
错误语义归一化
各厂商错误码与错误体各不相同。我们归一化为统一错误体，z-request-id 全链路关联每个请求。
数据流向：不出内网，不落库
BYOK 模式下，API Key 仅存储在网关内存中，不落库、不传输。请求经网关路由后直达模型厂商官方 API，数据全程不出你的私有网络。
为什么是约 1/7 的成本？
以日均 10 亿 token 的企业用户为例：同一批任务，看「全程顶尖模型」与「顶尖模型规划 + 开源模型执行」的账单差多少。
Claude Opus 5 规划 + 执行，全部走顶尖模型
约 90% 执行走开源 SOTA，关键 10% 规划留顶尖模型
省钱三来源：
- 1.BYOK 无 token 加价——你直接向厂商付标准价，GateLLM 不收中间差价（聚合商通常在厂商标准价之上另收平台费与支付费）；
- 2.组合——开源 SOTA 模型（GLM / Qwen / DeepSeek）承担分类、抽取、翻译等大部分执行量，顶尖闭源模型（如 Claude Opus）只用于规划与复杂推理；
- 3.Prompt 缓存——高频调用命中缓存，单价再降 50%–90%。
数字为基于公开定价的示意模型，实际省钱幅度取决于业务场景与混搭比例。Pro 授权费 $400/月（2GB 单机）已包含在 GateLLM 方案内。
用量看得见，费用算得准，预算卡得住
Token Ops 管谁在用、用了多少；Token FinOps 管 token 怎么记账、超了怎么卡。一套控制面，让 AI 支出像云支出一样可运营。
用量与成本可观测
按模型、按访问密钥、按密钥组三维度拆解每一次调用的 token 用量与花费，输入 / 输出 / 缓存命中分开计量，1 分钟粒度持久化。
- 按模型 / 密钥 / 密钥组三维度归集
- 输入 · 输出 · 缓存读分开计量
- 24h / 7d / 30d / 自定义时序
客户端准入与审计留痕
只让批准过的客户端接入网关：按 User-Agent 放行、限流或拒绝。所有调用留下可审计记录，满足终端治理与合规取证。
- 客户端准入控制（User-Agent 策略）
- 调用留痕与日志保留（Pro 起）
- 审计 / DLP 对接（企业版）
Management API（程序化管理）
企业版通过 API 程序化管理网关：创建 / 吊销 API Key、设配额与预算、查询用量与成本、导出审计日志，接入你的内部运维与计费系统。
- API Key 程序化创建 / 吊销
- 配额与预算程序化管理
- 用量与成本查询 API
- 审计日志导出
自有价目表与价格快照
把你谈下来的私有价手动录入网关，成为权威价：系统刷新不覆写。每条价格带生效时间段，降价可提前录，改价不追溯历史成本。
- 私有价 pinned 遮蔽 auto、刷新不覆写
- 价格快照按时间分段生效
- 回填历史价 / 预设降价生效日
- Token · 按次 · 按时长三种计费模式
标签归集与账单分摊
给密钥 / 密钥组打标签，按标签汇总用量与费用，把 token 成本归集到成本中心。Excel 导出按模型 × 密钥拆细账，支撑内部分摊。
- 密钥 / 密钥组自由打标签
- 按标签汇总用量与费用
- Excel 导出 6 张 sheet（含密钥 × 模型）
- 支持内部 showback / chargeback
费用配额与限流
给每个密钥设日 / 月费用上限，UTC 自然日、自然月独立判定，任一触顶即拦。配额按密钥 → 密钥组 → 全局三层继承，多组取最宽。
- 日 / 月费用上限（独立判定）
- 密钥 → 组 → 全局三层继承
- 触顶 429 quota_exceeded，日度带 Retry-After
GateLLM vs LiteLLM
一份可溯源的对等对比。有些机制只有 GateLLM 具备、LiteLLM 没有；双方共享一份已打平的基线；少数几项是形态不同。请依据上面两层做决定，而不是营销噪音。
只有 GateLLM 做得到
LiteLLM 没有的机制 —— 每项能力下方用一行说明「怎么做到的」。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| 条件模型切换控制台声明式 switch-route 规则 + 内置 plan 模式检测 + context.useModel() 脚本 —— 客户端零改动。LiteLLM 需自写 Python callback。 | 支持 | 不支持 |
| 跨协议模型 / SDK 混用原生任意 A→B 入口 —— 用 Anthropic SDK 调 GPT、用 Gemini SDK 调 DeepSeek。LiteLLM 以 OpenAI 为中心，反向走兼容垫片。 | 支持 | 不支持 |
| 单事务配置提交暂存 → 预览完整冲突集 → 原子提交，任一冲突整批回滚。 | 支持 | 不支持 |
| 成本配额硬闸日 / 月双周期到顶即返回 429 quota_exceeded。LiteLLM 只有预算告警。 | 支持 | 不支持 |
| 崩溃安全计费预扣 → 结算 → 退款 + in-flight 台账 —— 进程崩溃后账目仍正确。 | 支持 | 不支持 |
| 上游 key 池加权 + 粘性绑定FNV-1a 加权哈希把同一调用方粘定到一把 key，失败换下一把未试 key；weight=0 备用。 | 支持 | 不支持 |
| 三种计费模式 + 多币种Token / 按次 / 按时长 + USD/CNY/EUR/JPY/GBP + 自定义维度。LiteLLM 仅按 token 追踪。 | 支持 | 不支持 |
| 上游 SSO 凭据登录可接入无静态 key 的厂商（如 Kiro）。LiteLLM 仅支持静态 API key。 | 支持 | 不支持 |
| 能力元数据注册表驱动自动注入与降级；新模型能力漂移免改代码。 | 支持 | 不支持 |
| LTS 长期支持分支N-1 + LTS 分支（见 /lifecycle）。LiteLLM 仅支持最近 4 个 minor 线。 | 支持 | 不支持 |
双方都做得到
已打平的基线 —— 选哪个都能覆盖这一层。决定在上下两层。
| 能力 | GateLLM | LiteLLM |
|---|---|---|
| API 路由 · fallback · 负载均衡 | 支持 | 支持 |
| BYOK 无 token 加价 | 支持 | 支持 |
| 全私有化部署 / 数据不出内网 | 支持 | 支持 |
| Tool Calling 跨厂商归一 | 支持 | 支持 |
| 结构化输出（JSON Schema）归一 | 支持 | 支持 |
| 推理 token（thinking）归一 | 支持 | 支持 |
| 跨模型 Prompt 缓存 | 支持 | 支持 |
| 联网搜索注入 | 支持 | 支持 |
| MCP 网关（工具聚合） | 支持 | 支持 |
| 可视化控制台 | 支持 | 支持 |
| 审计日志与用量 / 成本核算 | 支持 | 支持 |
已对照各产品官方文档核实（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企业版许可；细节可能漂移，采购前请以官方源为准。
在请求侧识别密钥与敏感信息，处置方式由你决定
一套确定性规则引擎检查每个模型请求里的凭据格式与 PII，记录命中情况、但不记录命中的原文。内置规则出厂即停用、动作停在观察态；由你启用，并按作用域选择 log、mask 或 block。识别链路里没有模型。
确定性识别，链路里没有模型
构造上就是确定性的：先做字面量探针，再做要求上下文词的 regex 规则，最后过校验位 —— 银行卡走 Luhn、IBAN 走 mod-97、居民身份证号走校验位，另有 PEM 与 OpenSSH 私钥块、IPv4。
- 凭据格式：模型厂商 API key、云厂商 access key、GitHub 与 GitLab token、JWT、PEM 与 OpenSSH 私钥、Slack token
- PII 类别：中国大陆手机号、居民身份证号、银行卡号、IBAN、邮箱地址、IPv4 地址
- 多轮会话只扫新增部分 —— 游标哈希链让长会话不重复扫已经放行的文本
mask 对客户端可还原，block 不泄露命中内容
选 mask：上游模型收到带编号的占位符，你的客户端拿回还原后的真实值 —— 流式响应按 SSE 帧逐帧还原。选 block：请求被驳回，只带规则类别与一个请求 id，绝不带命中的原文。
- 上游看到占位符；数据的主人看到自己的原值被还原回来
- 长粘贴不豁免 —— 超长字符串先落盘哨兵化，再按固定大小窗口回扫，内存占用与内容长度无关
- 白名单按值匹配、绝不按路径匹配：放行一个测试 key，不会顺手豁免整个字段
日志正文：原样存储，每个出口都脱敏
出厂镜像里请求日志默认不落库。打开之后，正文按收到的原样存储，并在每个出口面脱敏 —— Console API 默认脱敏，SSE 与终端输出始终脱敏，脱敏失败即关闭该响应，而不是从失败里漏出去。
- 查看原文是一次显式操作：admin 角色加一个显式的 reveal 开关，并且被审计、被计数
- 脱敏覆盖敏感 body 字段、敏感 query 与 URL 参数、静态与自定义认证方案的请求头，以及 bearer token 值（部分保留以便辨识）
- 发现项只留脱敏片段与命中处有界的上下文，不留命中原文；发现项与日志共用留存期，默认 7 天
默认关闭，是刻意设计
内置规则包出厂即停用，且每条内置规则的动作都是 log。这是安全的上线路径，不是缺口：先在你的真实流量上看清「本来会发生什么」，用自己的误报情况调好白名单，再在真正需要的地方启用 mask 或 block。策略作用域可选全局 / access-key 组 / 单个 access key，规则支持热重载。
- 1
log观察。发现项进控制台，只带脱敏片段；请求本身不动。
- 2
mask可还原地执行。上游看到占位符；你的客户端仍拿回真实值。
- 3
block拒绝。请求被驳回，只带规则类别与一个请求 id —— 绝不带命中原文。
它是什么，不是什么
它是什么
- 跑在你自己的网关进程里、作用于模型请求侧，作用域可选全局 / access-key 组 / 单个 access key
- 控制台有独立页面：发现项视图给 admin 与 monitor 角色、规则视图给 admin、带内存预算预检的开关、热重载、操作进审计
- 试运行预览接口：启用之前先拿样本试一条规则
- 每条发现项都能追溯到规则名、类别、严重级别、实际动作、命中次数、模型与 access-key 名称
不是什么
- 不做响应内容检测 —— 响应侧只负责把占位符还原
- 没有 ML，不做越狱 / prompt 注入检测，也不提供 moderation API：规则是确定性的
- 不做离线补审 —— 请求时没扫的内容，之后不会再扫
- 不是 DLP 套件：不覆盖终端、邮件或其他出网通道
- 没有护照号 / SSN / 姓名 / 地址识别器；已知残余缺口有文档记录 —— base64 编码的媒体叶子会跳过，跨两个流式帧被切开的占位符会原样通过
你真正拿到的是什么
企业采购最关心的三件事，在价格之前一次说清：合规能签、账单封顶、数据不出网。
法务能签的 DPA
GDPR / CCPA 就绪，DPA 可直接签。私有化部署下数据不出你的边界，企业 SSO（OIDC / SAML 2.0）与 SCIM 2.0 开户开箱可用。
跑不掉的账单
BYOK 直接向厂商付标准价——不收 token 差价、不按席位收费。按密钥 / 项目设硬配额上限，防止跑飞的脚本吃掉预算。
Prompt 根本不经过我们
全私有化部署——你的 prompt 和补全从不进入我们的系统。BYOK 密钥仅存于网关内存，请求直达厂商官方 API，全程不出你的私有网络。
全私有化 · 单机 2GB · 永不加收 Token 费用
BYOK（自带密钥）——你直接向厂商付标准价。我们按「单机 2GB」授权收费，不按席位、不按 Token 加价。更大内存或多机走企业版。
所有档位都含：BYOK 零加价 · 100+ 厂商路由 · 客户端准入控制 · Prompt 缓存 · 成本配额
免费版
全私有化 · 单 license
512MB 单实例、无日志留存 —— 适合评估与 POC，不适合生产流量。
- ✓100+ 大模型路由 · Fallback · 负载均衡
- ✓跨厂商模型混用 · Agent 内模型降级（plan 锁定 / 非 plan 自动降级）
- ✓客户端准入控制（User-Agent 策略）
- ✓Prompt 缓存
- ✓BYOK（自带密钥，无加价）
- ✓512MB 内存上限 · SQLite · 单实例
- ✓GitHub Actions Code Review（走自有网关）
- ✓日志不保留
Pro
/ 月 · 2GB 单机（固定上限）· 21 天免费试用
2GB 固定上限、不可加买。需要多节点、合规（Audit/DLP）或 Management API 请走企业版。
- ✓免费版所有能力
- ✓2GB 内存 · 单机（固定上限，不可加买）
- ✓日志保留
- ✓企业 SSO（OIDC：Azure AD / Okta / 通用 OIDC，另含 SAML 2.0 + SCIM）
- ✓PostgreSQL · 2GB 内存
- ✓邮件 / 工单支持
30 天内不满意,100% 退款
企业版
按内存容量 · 按年付 · 30 天内可退款
- ✓Pro 所有能力
- ✓按内存容量计费（节点 × 内存，flat $400/GB/月）
- ✓多节点 / 集群部署
- ✓GitHub Actions Code Review（走自有网关）
- ✓Microsoft 365 加载项（Excel/Word/PPT/Outlook·付费增值）
- ✓更长日志保留
- ✓优先支持响应
- ✓合规（审计 / DLP）
- ✓Management API（程序化管理 API Key · 配额 · 用量查询 · 审计导出）
需要更大容量或定制配置？ 联系我们 →
功能对比
| 能力 | 免费版 | Pro | 企业版 |
|---|---|---|---|
| 多模型路由 · Fallback · 负载均衡 | ✓ | ✓ | ✓ |
| 跨厂商模型混用（规划/执行分厂商） | ✓ | ✓ | ✓ |
| Agent 内模型降级（plan 锁定 / 非 plan 自动降级） | ✓ | ✓ | ✓ |
| Prompt 缓存 | ✓ | ✓ | ✓ |
| BYOK（自带密钥，无加价） | ✓ | ✓ | ✓ |
| 内存档位 | 512MB | 2GB（固定） | 可定制 |
| 存储 / 数据库 | SQLite（单实例） | PostgreSQL · 2GB | PostgreSQL + Redis 集群 |
| 部署规模 | 1 instance | 1 instance · 单机 2GB | 多节点 / 集群 |
| 每 GB 吞吐（参考值） | — | 2GB ≈ 200M TPM / 1,000 RPM | 每 GB ≈ 100M TPM / 500 RPM |
| 日志保留 | 不保留 | 保留 | 更长保留 |
| SSO（OIDC / SAML 2.0） | — | ✓ | ✓ |
| SCIM 2.0 自动开户 | — | ✓ | ✓ |
| 合规（审计 / DLP） | — | — | ✓ |
| Management API（程序化管理 Key · 配额 · 用量 · 审计） | — | — | ✓ |
| 自有价目表 / 价格快照（含私有议价价） | ✓ | ✓ | ✓ |
| 费用配额（日 / 月，三层继承） | ✓ | ✓ | ✓ |
| 支持响应 | 社区 | 邮件 / 工单 | 优先响应 |
| 分模式模型治理（plan/execute 可强制） | ✓ | ✓ | ✓ |
| 客户端准入控制（User-Agent 策略） | ✓ | ✓ | ✓ |
| GitHub Actions Code Review（走自有网关） | ✓ | ✓ | ✓ |
| Microsoft 365 加载项（Excel/Word/PPT/Outlook·自托管） | — | 附加购买 | 附加购买 |
| Purview 敏感度标签门控（addin.access / file.upload） | — | — | ✓ |