# GateLLM — 企业级多模型 LLM 网关

> 成本只要 1/7。可信、合规、可私有化的企业级多模型 LLM 网关,把顶尖闭源模型与开源 SOTA 模型编排组合 —— 规划与复杂推理走顶尖模型,常规执行走开源 SOTA。

规范链接: https://www.gatellm.io/zh-CN/

## 顶尖模型规划，开源 SOTA 执行，成本只要 1/7
规划与复杂推理留给顶尖模型，常规执行交给开源 SOTA。组合把账单压到约 1/7 —— 数字在计算器中实时算出，不是写死的宣传语。
```
from openai import OpenAI

# 只改一行：把 SDK 指向你自己的网关
client = OpenAI(
    base_url="https://your-gateway.gatellm.io/v1",
    api_key="your-gateway-api-key",
)

# 原代码不变 —— 网关按你在控制台的策略，把每个请求
# 路由到合适的模型档位（规划走顶尖模型、执行走开源模型）
resp = client.chat.completions.create(
    model="claude-opus-5",  # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
    messages=[{"role": "user", "content": "规划整体架构"}],
)
```
模型混用：Claude Opus 做规划、DeepSeek / Qwen 做执行 —— 成本约 1/7，最高降低 90%

模型由网关说了算：不管客户端配了什么模型，落地的都是管理员锁定的那个 —— 准入白名单 + "*" 兜底映射

一套协议接任意模型：只对接 OpenAI 或 Anthropic，就能调用四大对话协议族（OpenAI / Anthropic / Gemini / DashScope）背后的模型 —— 换模型不改代码

数据不出内网：全私有化部署，prompt 从不进入我们系统；凭据与 PII 在请求侧识别，按作用域 log / mask / block

## 三件事，网关替你做到
模型混用降本、模型由网关强制指定、客户端只对接一种协议。
### 模型混用，不再全程用最贵的模型
顶尖模型（Claude Opus）负责规划与复杂推理，DeepSeek / Qwen / GLM 等开源 SOTA 负责常规执行。默认配比下账单约 1/7，常规执行任务上保留约 97% 能力 —— 数字在计算器里实时算出，不是写死的宣传语。
- plan 模式逐请求识别，客户端零改动
- 按密钥组或身份分配模型档位
- 按模式归集成本并设预算上限
### 模型由网关说了算
不管开发者在自己机器上配了什么模型，请求一到网关就被归一。不在白名单里的模型名直接 403；"*" 兜底映射把其余请求改写成管理员指定的模型。映射与规则热生效，不必逐台下发。
- 密钥组白名单在入口拦下模型名
- 兜底映射锁定真实落地模型
- 每个请求记录实际落地模型（SW 标记脚本切路、MM 标记身份映射），可审计
### 客户端只写一次，后端随便换
应用只需对接一种协议 —— OpenAI 或 Anthropic。网关在四大对话协议族（OpenAI / Anthropic / Gemini / DashScope）之间互译，并归一化流式、工具调用等能力差异。加厂商、换模型，业务代码一行不动。
- 四大对话协议族任意 A→B 互译
- Anthropic-only 客户端（Claude Code、claude-code-action）也能跑别家模型
- 四大协议族之外另有 15 种上游协议形态，互通矩阵里逐条可查

已接入 100+ 大模型厂商 · 30+ SDK 与框架

## 自行核实
我们把文件公开出来，而不是让你只能相信我们的话。本页每一条主张都有可查的凭据，在你联系我们之前就能读完。

### [安全与合规](https://www.gatellm.io/zh-CN/security.md)
架构、密钥处理与隔离模型。

### [安全问卷](https://www.gatellm.io/zh-CN/trust.md)
CAIQ / SIG / VSA 逐项作答。

### [次级处理者清单](https://www.gatellm.io/zh-CN/subprocessors.md)
可能接触你数据的每一家第三方。

### [事件响应与支持](https://www.gatellm.io/zh-CN/sla.md)
响应时限与支持承诺。

## 一个接口，混搭组合所有模型
从简单的模型路由到多模型混搭组合，GateLLM 提供完整的企业级能力。
### 多模型路由
一个接口调用所有模型。智能 fallback、负载均衡、自动重试。
- 100+ 大模型厂商统一 API
- 智能 fallback 路由
- 负载均衡与速率限制
- 上游多 Key 池：同一调用方粘定一把 key，失败自动换下一把
- Ollama / vLLM / llama.cpp 以 openai-compatible upstream 接入，同一套治理面
### 组合
分级路由按 plan 模式、身份或请求形态逐请求决策：规划走顶尖模型，执行走开源 SOTA。网关改写模型名——客户端代码一行不改。
- plan 模式检测：规划走顶尖、执行走开源 —— 客户端零改动
- 身份作用域模型映射：同一模型名按密钥组路由到不同上游
- switch-route 规则：带图或特殊请求重定向到合适模型
- Agent 内降级:plan 锁定 / 非 plan 自动降到便宜模型
### 多模型代码评审
同一 PR 上 2–3 个模型并行评审。网关提供协议互通与一把密钥统一计量；扇出、合并与置信度评分都在开源编排 Action 里。
- 网关协议互通：非 Anthropic 模型也能进 Anthropic-only 审查队列
- 一把访问密钥统一计量与管控整个扇出
- 扇出、[Consensus N/M] 评分与合并由 gatellm-io/gatellm-code-review 承担（编排侧）
### MCP 工具治理
外部 MCP 工具服务器聚合成统一 /mcp 入口：工具级 ACL、上下文预算、调用审计。Agent 能用什么工具，与能用哪些模型收进同一套权限面。
- 多 MCP 服务器聚合为统一 /mcp 入口
- 密钥组按工具 allow/deny + 按标签过滤
- 工具多时内置 BM25 检索定位
- REST 桥：一份简化 spec 即可把 REST API 零代码暴露成 MCP 工具
- MCP 调用 / 违规 / 会话全审计
### 联网搜索注入
给任意模型统一补上联网搜索：网关层检索注入，按客户端协议合成原生搜索块，开源模型也能 search grounding。
- 按协议合成原生搜索块（Anthropic / OpenAI / Responses）
- 模型级三态开关，失败降级不阻塞请求
- 劫持搜索不计入用量计费
### 成本管控
预算管理、速率限制、团队成本归因、分模式模型治理。永不加收 Token 费用，BYOK 自带密钥。
- 按项目、按功能成本归因
- 软预算告警
- BYOK：直接向厂商支付标准价格
- 分模式模型策略（plan/execute 可强制）
### 企业治理与集成
从客户端准入到 CI/CD 集成，把网关能力延伸进你的研发与协作流程。
- 客户端准入控制（User-Agent 策略）
- GitHub Actions Code Review 走自有网关
- 批量配置：暂存 → 预览完整冲突集 → 单事务原子提交
### Office / M365 加载项
在 Excel、Word、PowerPoint、Outlook 里直接用你自己的模型网关 —— 自托管加载项、数据不出内网、对 pivot 零依赖。
- Excel 财务建模 / Word 合同审阅 / Outlook 收件箱
- Entra SSO + Purview 标签门控
- 33 个内置领域 skill，付费增值
### 转换脚本
沙箱化 JavaScript 引擎（QuickJS）在网关处改写请求与响应 JSON。控制台里编辑即改即生效 —— 无需重新部署、无胶水代码。
- 请求侧 before / after 双 slot + 响应侧 slot：译前见客户端原格式、译后见上游格式
- context.useModel() 整体换路由 —— base_url、协议、凭证一起换
- 内置函数库：json_path / str_* / regex_* / array_* / 编码哈希 / UUID + 时间
- 沙箱禁网禁文件系统，支持失败开/闭模式 + 控制台内置脚本测试

## 模型混搭组合：拿到单模型给不了的质量
组合（Composition）是网关原生模式，多模型代码评审是网关使能的编排侧模式 —— 两者都建立在能力归一化层之上。
### 组合：分级路由跨模型
按 plan 模式、身份或请求形态路由：规划留在顶尖模型，执行落到开源 SOTA。网关改写模型名并翻译协议——客户端代码一行不改。
- plan 模式检测：规划走顶尖、执行走开源 —— 客户端零改动
- 身份作用域模型映射：同一模型名按密钥组 / 请求头路由到不同上游
- switch-route 规则：带图或特殊请求重定向到合适模型
- 无胶水代码 —— 协议翻译由网关完成
- 策略可强制：管理员按 plan/execute 模式锁定模型档位，杜绝全程用最贵模型
```
// before-slot 转换脚本(JavaScript)—— 按 plan 模式切换执行模型。
// 挂载在控制台的入口模型上;路由前执行。
function transform(body, context) {
    if (context.sourceProtocol !== "Anthropic") {
        return body;
    }
    const EXEC_MODEL = "qwen3.8-max"; // 网关里已配置的模型名
    const PLAN = /plan mode is active/i;
    const EXIT = /exited plan mode/i;
    // 从最后一条带标记的消息取状态:靠后的标记胜出
    const messages = body.messages || [];
    for (let i = messages.length - 1; i >= 0; i--) {
        const s = JSON.stringify(messages[i].content || "");
        const inPlan = PLAN.test(s);
        const exited = EXIT.test(s);
        if (inPlan || exited) {
            // 不在 plan 模式 → 把执行切到更省成本的模型
            if (exited || !inPlan) context.useModel(EXEC_MODEL);
            return body;
        }
    }
    context.useModel(EXEC_MODEL);
    return body;
}
```
### 多模型代码评审（编排侧）
网关使能、编排层运行：claude-code-action 只说 Anthropic 协议，靠网关协议互通，qwen3.8-max、kimi-k3 等非 Anthropic 模型才能进评审队列。一把网关访问密钥统一计量每个评审模型。
- [Consensus N/M] 置信度标注、合并与去重由 Action 产出
- 每个评审模型独立计费，由网关统一归集
- PR 行数闸门与历史评论折叠内置于 Action

## 三步拿到第一个 token
三步完成从单模型到多模型混搭组合的升级，无需重写业务代码。任意一种 SDK（OpenAI / Anthropic / Gemini / DashScope）都能接。
### 部署网关
Docker 一键启动，或 Kubernetes Helm 部署到私有环境。
### 配置密钥
BYOK 模式：填入你已有的各模型厂商 API Key，数据不出内网，不落库。
### 替换 Endpoint
将 OpenAI SDK 的 base_url 指向 GateLLM，即可用统一接口调用所有模型。
```
# 只需改一行：把 base_url 指向 GateLLM
from openai import OpenAI

client = OpenAI(
    base_url="https://your-gateway.gatellm.io/v1",
    api_key="your-gatellm-api-key"
)

# 原有代码完全不用改，直接调用任意模型
response = client.chat.completions.create(
    model="claude-opus-5",  # 或 claude-sonnet-5, gpt-6-astra, deepseek-flash...
    messages=[{"role": "user", "content": "你好"}]
)
```
## 或者交给你的 agent

安装并配置 GateLLM 网关。请先用 curl 取回这份安装指南的原始 Markdown，从头到尾读完后逐步执行（步骤间有先后顺序依赖，例如密钥组必须先于访问密钥建立，不要跳读）：

curl -fsSL https://docs.gatellm.io/zh-CN/quickstart/docker-single-node.md

你只需要提供一样东西：上游厂商的 API Key。其余由 agent 自己生成，并通过 Console API 完成配置——不打开浏览器，第一个请求返回补全即完成。

## 或者自己动手

```bash
docker run -d \
  --name gatellm \
  -p 7890:7890 \
  -e CONSOLE_PASSWORD=change-me-on-first-login \
  -e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
  -e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
  -e STORAGE_MODE=sqlite \
  -v gatellm-data:/var/lib/protoflux \
  ghcr.io/gatellm-io/gatellm:latest
```

运行前替换三个占位值——安装指南里写明了每个值是什么，以及原样保留为什么不安全。

## 带上你已有的 SDK，只改一行
两侧（你的 SDK 与模型厂商）都说同一套四种协议。任意双向转换、零胶水代码，覆盖对话、图像、语音、视频、实时语音，外加 embedding 与 rerank。
### 全模态
- 对话
- 图像
- 语音
- 视频
- 实时语音
- embedding
- rerank

- 入口协议原生：OpenAI / Anthropic / Gemini / DashScope 四种 SDK 直连，不改 base_url 之外的代码
- 出口协议原生：路由到任意厂商时按其原生协议出口，不是统一翻成 OpenAI 信封再转一次
- 任意组合转换：入口 A → 出口 B 无缝（如 Anthropic SDK 调用 → 路由到 DashScope 厂商按 DashScope 协议出口）
- 全模态 + embedding/rerank：chat / image / speech / video / realtime voice 全覆盖，外加 embedding 与 rerank 协议统一
- 比「OpenAI 兼容」更强：synthorai 等是「入口三种、统一成 OpenAI 表面」；GateLLM 是入口四种 + 出口四种，双向任意
- 出口协议面更广：除四大协议族外，上游协议共 15 种形态（含 AWS Bedrock Converse / Invoke、Realtime、passthrough）——Bedrock 上的企业模型与自部署模型都能统一接入
- 实时语音会话（/v1/realtime，openai_realtime + dashscope_realtime）按轮计量，进与 HTTP 同一套统计 / 计费 / 日志管道

## 兼容你正在用的 SDK
一行代码，把任意 SDK 或框架接到网关。OpenAI、Anthropic、Gemini、DashScope 原生接入；LangChain、LlamaIndex、CrewAI、Vercel AI SDK 等 30+ 框架同样只换 base_url。
### base_url 指向网关
默认 https://your-gateway.gatellm.io —— 是否含 /v1 因 SDK 而异（每个示例给出确切值）。
### 换成网关 access key
不是上游的 sk-… 密钥 —— 同一把 access key 装进你 SDK 期望的任意 header。
### 模型名用网关配置名
是你在控制台配置的名字 —— 不是厂商官方名。
```
# base_url 约定因 SDK 而异 —— 匹配你正在用的那个
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1")        # OpenAI SDK：带 /v1

import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io")  # Anthropic SDK：根（自己拼 /v1/messages）

# Vercel AI SDK 的 createAnthropic：baseURL 要 ".../v1"（自己拼 /messages）—— 正好相反
# LangChain ChatOpenAI：base_url="https://your-gateway.gatellm.io/v1"
```
### `Authorization: Bearer <key>`
- SDK / 框架: OpenAI · DashScope · 通用
- Bearer 前缀大小写不敏感

### `x-api-key: <key>`
- SDK / 框架: Anthropic SDK
- 也接受 Authorization

### `x-goog-api-key: <key>`
- SDK / 框架: Gemini SDK
- 也接受 Authorization

### 官方厂商 SDK
OpenAI / Anthropic / Google SDK 原生接入 —— 只改 base_url

### DashScope 原生
文本、图像、异步视频、embedding、rerank 走同一入口

### 统一 SDK / 网关层
Vercel AI SDK、LiteLLM、Portkey、Semantic Kernel、Spring AI

### 编排框架
LangChain、LlamaIndex、CrewAI、AutoGen、DSPy、Haystack

### Agent SDK
OpenAI Agents、Claude Agent、Pydantic AI、ADK、Mastra

### 实时语音
Realtime WebSocket 语音 + openai_audio 转写 / 合成

### 本地 / 自托管
Ollama、vLLM、llama.cpp 作上游 —— 客户端 SDK 不变

### 模型名必须等于网关配置名
不是厂商官方名，也不是上游真实模型 ID —— 是你在控制台起的名字。名字不对 → 404 model_not_found。

### base_url 是否带 /v1 因 SDK 而异
OpenAI SDK 带 /v1；Anthropic SDK 指网关根（它自己拼 /v1/messages）；Vercel AI SDK 的 createAnthropic 要带 /v1（它自己拼 /messages）。拼错会多一段或少一段路径。

### 跨协议字段会被翻译并受约束
当上游是 Responses 协议模型时，max_tokens 会被翻译成 max_output_tokens，且上游可能设下界（如 ≥16）—— 太小 → 400。

### 思考块被网关包裹
Claude / Gemini 的思考内容与签名会被透传或剥除 —— 取 content 数组里 type == "text" 的元素，别假设 content[0] 是文本。

### OpenAI Agents SDK 默认打 /v1/responses
它调的是 Responses API，不是 Chat Completions。上游是 openai（Chat）协议时，用 OpenAIChatCompletionsModel 显式切到 Chat；上游本身是 openai_response 时，字符串模型名直接用。

### LlamaIndex 按白名单校验模型名
OpenAI 类只认它认识的一系列名称，会拒绝自定义网关名 —— 用 OpenAILike（Python）或显式声明模型信息绕过。

### CrewAI 底层是 LiteLLM
base_url 不是框架参数 —— 是 OPENAI_API_BASE 环境变量，而且 model 要带 openai/ 前缀。

### AutoGen 对未知模型名要显式 model_info
不在默认清单的模型名会报错 —— 显式声明 model_info 绕过校验。

### Google GenAI SDK 指向网关根
base_url 经 http_options.base_url 传入（不带 /v1），key 装在 x-goog-api-key header。

## 把任意 AI coding agent 指到网关
```
# 每个 agent 都只是「一个 base_url + 一把 access key」
export ANTHROPIC_BASE_URL="https://your-gateway.gatellm.io"   # Anthropic 系 agent：根（不带 /v1）
export ANTHROPIC_API_KEY="<网关 access key>"

export OPENAI_API_BASE="https://your-gateway.gatellm.io/v1"   # OpenAI 兼容 agent：带 /v1
export OPENAI_API_KEY="<网关 access key>"

# Codex CLI（~/.codex/config.toml）走 Responses 协议
# [model_providers.gatellm]
# base_url = "https://your-gateway.gatellm.io/v1"
# wire_api = "responses"
```
### 终端 agent
Claude Code、Codex CLI、Gemini CLI、OpenClaw、opencode、Crush、Droid、Goose、Aider、Qwen Code、OpenHands、Kimi Code、Plandex、SWE-agent、Grok Build、Mistral Vibe、MiMo Code、ForgeCode、Codebuff

### IDE / 编辑器插件
Cline、Roo Code、Kilo Code、Continue、Zed、Cursor、Windsurf、GitHub Copilot（BYOK）

### 托管平台
Warp（仅 BYOK 密钥）、Amazon Q Developer CLI、Devin —— 端点固定或不可改

### harness 钉死了自己的模型 ID
Claude Code 发送的是它自己配置的默认 ID（如 claude-opus-5 或 claude-sonnet-5），不是你的网关名。要么把网关模型名取成 harness 实际请求的 ID，要么用它的模型环境变量（如 ANTHROPIC_MODEL）指到你的网关名。名字不对 → 第一条消息就 404 model_not_found。

### Anthropic 系 harness 要指根、不带 /v1
Anthropic 风格客户端的 base URL 要指向网关根（不带 /v1）—— 客户端自己拼 /v1/messages。这里多写一个 /v1 会让路径段叠一层。

### Codex 自定义 provider 需要 wire_api="responses"
Codex CLI 的 [model_providers.*] 配置块要求 wire_api = "responses"。网关原生实现 /v1/responses —— 把 base_url 指过来、env_key 指向网关 access key 即可。

### LiteLLM 底座的 harness 要 openai/ 模型前缀
Aider、OpenHands、SWE-agent 底层是 LiteLLM：把 OPENAI_API_BASE 设成网关，模型名带 openai/ 前缀（如 openai/网关模型名），LiteLLM 才按 OpenAI 兼容端点路由。

### 默认走订阅 OAuth，不是你的 key
Codex、Gemini CLI、Qwen Code 默认走厂商的 OAuth / 订阅登录。要经网关必须显式切到 API key 认证（同时设 key 与 base URL）—— 否则会直接绕过网关。

### IDE 按模型 ID 推断工具 / 视觉能力
Cline / Roo / Kilo 等按模型名判断工具调用与视觉能力。自定义网关名可能关掉函数调用 —— 工具调用失败时，检查客户端的能力检测规则，或把模型名取成它认识的家族名。

### 长推理会多出 :keep-alive 与 _gateway_warning
上游长推理期间网关会发 SSE 的 :keep-alive 注释行（无害，跳过以 : 开头的行即可）；中途断流时会插入 _gateway_warning 字段而不是直接报错 —— 设计目标就是避免 Claude Code 这类 harness 因流错误中断整段会话。

### Claude Code auto mode：决定那份安全裁决由谁应答
auto mode 下，Claude Code 在执行可能有危险的动作前，会等一份服务端裁决（请求体里的 safeguards 字段）。上游是官方 Anthropic 时，裁决在同一次请求里由上游给出，网关原样透传、不加干预。上游是忽略该字段的第三方时，改由网关应答 —— 出厂默认（allow_all）放行全部动作，比不介入更宽松。要把某条上游上的这个判断交回给它自己，就在该上游的 extra_config 里写 "anthropic_server_safeguards": "upstream"；控制台里这项设置仅 admin 可改。

## 能力归一化：让跨厂商混搭成为可能
跨厂商混搭依托能力归一化层——统一七个耦合点，切换模型再也不用重写胶水代码。
### Tool Calling 归一化
OpenAI / Anthropic / Gemini / 国产模型的 tool calling schema 各不相同。我们在底层统一抽象，让你写一次代码调用所有模型。
### 结构化输出兼容
每家用不同协议（strict JSON schema、json_mode、tool_use）。我们统一为一致的接口。
### Prompt 缓存统一
Anthropic cache_control、OpenAI 自动缓存、Gemini context——各家机制不同。我们提供统一的缓存策略。
### 推理 Token 适配
o1 / Claude thinking / DeepSeek R1 输出格式不同。我们适配各家推理 token 协议。
### 多模态格式支持
vision / audio / 文件上传各家协议不同。我们统一多模态输入格式。
### 计费模型抽象
每家 pricing 结构不同。我们抽象为统一的成本追踪接口。
### 错误语义归一化
各厂商错误码与错误体各不相同。我们归一化为统一错误体，z-request-id 全链路关联每个请求。
### 数据流向：不出内网，不落库
BYOK 模式下，API Key 仅存储在网关内存中，不落库、不传输。请求经网关路由后直达模型厂商官方 API，数据全程不出你的私有网络。
SOC 2 控制对齐

ISO 27001 控制对齐

GDPR

## 为什么是约 1/7 的成本？
以日均 10 亿 token 的企业用户为例：同一批任务，看「全程顶尖模型」与「顶尖模型规划 + 开源模型执行」的账单差多少。
## 省钱三来源：
- BYOK 无 token 加价——你直接向厂商付标准价，GateLLM 不收中间差价（聚合商通常在厂商标准价之上另收平台费与支付费）；
- 组合——开源 SOTA 模型（GLM / Qwen / DeepSeek）承担分类、抽取、翻译等大部分执行量，顶尖闭源模型（如 Claude Opus）只用于规划与复杂推理；
- Prompt 缓存——高频调用命中缓存，单价再降 50%–90%。
数字为基于公开定价的示意模型，实际省钱幅度取决于业务场景与混搭比例。Pro 授权费 $400/月（2GB 单机）已包含在 GateLLM 方案内。

## 用量看得见，费用算得准，预算卡得住
Token Ops 管谁在用、用了多少；Token FinOps 管 token 怎么记账、超了怎么卡。一套控制面，让 AI 支出像云支出一样可运营。
### 用量与成本可观测
按模型、按访问密钥、按密钥组三维度拆解每一次调用的 token 用量与花费，输入 / 输出 / 缓存命中分开计量，1 分钟粒度持久化。
- 按模型 / 密钥 / 密钥组三维度归集
- 输入 · 输出 · 缓存读分开计量
- 24h / 7d / 30d / 自定义时序
### 客户端准入与审计留痕
只让批准过的客户端接入网关：按 User-Agent 放行、限流或拒绝。所有调用留下可审计记录，满足终端治理与合规取证。
- 客户端准入控制（User-Agent 策略）
- 调用留痕与日志保留（Pro 起）
- 审计 / DLP 对接（企业版）
### Management API（程序化管理）
通过 API 程序化管理网关：创建 / 吊销 API Key、设配额与预算、查询用量与成本、导出审计日志，接入你的内部运维与计费系统。
- API Key 程序化创建 / 吊销
- 配额与预算程序化管理
- 用量与成本查询 API
- 审计日志导出
### 自有价目表与价格快照
把你谈下来的私有价手动录入网关，成为权威价：系统刷新不覆写。每条价格带生效时间段，降价可提前录，改价不追溯历史成本。
- 私有价 pinned 遮蔽 auto、刷新不覆写
- 价格快照按时间分段生效
- 回填历史价 / 预设降价生效日
- Token · 按次 · 按时长三种计费模式
### 标签归集与账单分摊
给密钥 / 密钥组打标签，按标签汇总用量与费用，把 token 成本归集到成本中心。Excel 导出按模型 × 密钥拆细账，支撑内部分摊。
- 密钥 / 密钥组自由打标签
- 按标签汇总用量与费用
- Excel 导出 6 张 sheet（含密钥 × 模型）
- 支持内部 showback / chargeback
### 费用配额与限流
给每个密钥设日 / 月费用上限，UTC 自然日、自然月独立判定，任一触顶即拦。配额按密钥 → 密钥组 → 全局三层继承，多组取最宽。
- 日 / 月费用上限（独立判定）
- 密钥 → 组 → 全局三层继承
- 触顶 429 quota_exceeded，日度带 Retry-After

## GateLLM vs LiteLLM
一份可溯源的对等对比。有些机制只有 GateLLM 具备、LiteLLM 没有；双方共享一份已打平的基线；少数几项是形态不同。请依据上面两层做决定，而不是营销噪音。
### 只有 GateLLM 做得到
LiteLLM 没有的机制 —— 每项能力下方用一行说明「怎么做到的」。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 条件模型切换 | ✓ | ✗ |
| 跨协议模型 / SDK 混用 | ✓ | ✗ |
| 单事务配置提交 | ✓ | ✗ |
| 成本配额硬闸 | ✓ | ✗ |
| 崩溃安全计费 | ✓ | ✗ |
| 上游 key 池加权 + 粘性绑定 | ✓ | ✗ |
| 三种计费模式 + 多币种 | ✓ | ✗ |
| 上游 SSO 凭据登录 | ✓ | ✗ |
| 能力元数据注册表 | ✓ | ✗ |
| LTS 长期支持分支 | ✓ | ✗ |

- **条件模型切换**: 控制台声明式 switch-route 规则 + 内置 plan 模式检测 + context.useModel() 脚本 —— 客户端零改动。LiteLLM 需自写 Python callback。
- **跨协议模型 / SDK 混用**: 原生任意 A→B 入口 —— 用 Anthropic SDK 调 GPT、用 Gemini SDK 调 DeepSeek。LiteLLM 以 OpenAI 为中心，反向走兼容垫片。
- **单事务配置提交**: 暂存 → 预览完整冲突集 → 原子提交，任一冲突整批回滚。
- **成本配额硬闸**: 日 / 月双周期到顶即返回 429 quota_exceeded。LiteLLM 只有预算告警。
- **崩溃安全计费**: 预扣 → 结算 → 退款 + in-flight 台账 —— 进程崩溃后账目仍正确。
- **上游 key 池加权 + 粘性绑定**: FNV-1a 加权哈希把同一调用方粘定到一把 key，失败换下一把未试 key；weight=0 备用。
- **三种计费模式 + 多币种**: Token / 按次 / 按时长 + USD/CNY/EUR/JPY/GBP + 自定义维度。LiteLLM 仅按 token 追踪。
- **上游 SSO 凭据登录**: 可接入无静态 key 的厂商（如 Kiro）。LiteLLM 仅支持静态 API key。
- **能力元数据注册表**: 驱动自动注入与降级；新模型能力漂移免改代码。
- **LTS 长期支持分支**: N-1 + LTS 分支（见 /lifecycle）。LiteLLM 仅支持最近 4 个 minor 线。

### 双方都做得到
已打平的基线 —— 选哪个都能覆盖这一层。决定在上下两层。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| API 路由 · fallback · 负载均衡 | ✓ | ✓ |
| BYOK 无 token 加价 | ✓ | ✓ |
| 全私有化部署 / 数据不出内网 | ✓ | ✓ |
| Tool Calling 跨厂商归一 | ✓ | ✓ |
| 结构化输出（JSON Schema）归一 | ✓ | ✓ |
| 推理 token（thinking）归一 | ✓ | ✓ |
| 跨模型 Prompt 缓存 | ✓ | ✓ |
| 联网搜索注入 | ✓ | ✓ |
| MCP 网关（工具聚合） | ✓ | ✓ |
| 可视化控制台 | ✓ | ✓ |
| 审计日志与用量 / 成本核算 | ✓ | ✓ |

### 形态不同之处
不是谁更好 —— 机制与打包方式不同，值得你直接权衡。
| 能力 | GateLLM | LiteLLM |
| --- | --- | --- |
| 运行形态 | 单 Rust 二进制 · 无 GC 停顿 | Python 进程 + 依赖栈 |
| 协议翻译面 | 15 种协议形态；四大对话协议族（OpenAI / Anthropic / Gemini / DashScope）任意 A→B，其余按互通矩阵配对 | 以 OpenAI 兼容为中心 + 若干兼容端点 |
| 原生协议入口 | /v1/messages + count_tokens、Gemini generateContent、/v1beta/cachedContents CRUD、/v1/realtime、/mcp —— 一个网关原生承接各种 SDK | OpenAI 兼容端点（加若干兼容变体） |
| Prompt 缓存深度 | OpenAI 协议调用自动注入断点 + 跨协议翻译 + Google cachedContent 去重 | 透传 cache_control，归一 usage |
| 日志隐私默认值 | 请求日志默认不落库 · 日志正文在每个出口面脱敏，查看原文需 admin 且进审计 · 默认留存 7 天 | 请求/响应日志默认开启；脱敏走 guardrails |
| 配置形态 | 全控制台 —— 免 YAML，改完即时生效 | 以 config.yaml 为中心 |
| 企业 SSO 与 SCIM 打包方式 | OIDC + SAML 2.0 + SCIM 打包进按实例固定授权，不按席位收费 | OSS 的 SSO 限 5 用户内；SCIM 需用量计价的企业版 |
| 授权形态 | 按实例 / 内存固定，不按席位、不加 token 费 | OSS 免费；企业版按用量 |
| 支持 SLA | 固定授权内即含优先响应 | 标准档无响应时限承诺；24/7 SLA 为加价项（Sev0 1h / Sev1 6h） |
| 端点覆盖 | Chat / Realtime / MCP 核心端点 | 另有 /batches、/files、/fine_tuning、/vector_stores、/videos、/containers |
| 第三方生态 | 内置日志 / Prometheus / OTel —— 标准协议直出，不绑单一厂商；密钥与 PII 识别内置在网关里，不依赖第三方引擎 | AWS KMS / Vault / CyberArk secret manager；Presidio PII guardrails；Langfuse / Langsmith / Arize 可观测 |

已对照各产品官方文档核实（2026-09-04，docs.litellm.ai / docs.gatellm.io）。LiteLLM 部分能力需企业版许可；细节可能漂移，采购前请以官方源为准。

## 在请求侧识别密钥与敏感信息，处置方式由你决定
一套确定性规则引擎检查每个模型请求里的凭据格式与 PII，记录命中情况、但不记录命中的原文。内置规则出厂即停用、动作停在观察态；由你启用，并按作用域选择 log、mask 或 block。识别链路里没有模型。
### 确定性识别，链路里没有模型
构造上就是确定性的：先做字面量探针，再做要求上下文词的 regex 规则，最后过校验位 —— 银行卡走 Luhn、IBAN 走 mod-97、居民身份证号走校验位，另有 PEM 与 OpenSSH 私钥块、IPv4。
- 凭据格式：模型厂商 API key、云厂商 access key、GitHub 与 GitLab token、JWT、PEM 与 OpenSSH 私钥、Slack token
- PII 类别：中国大陆手机号、居民身份证号、银行卡号、IBAN、邮箱地址、IPv4 地址
- 多轮会话只扫新增部分 —— 游标哈希链让长会话不重复扫已经放行的文本
### mask 对客户端可还原，block 不泄露命中内容
选 mask：上游模型收到带编号的占位符，你的客户端拿回还原后的真实值 —— 流式响应按 SSE 帧逐帧还原。选 block：请求被驳回，只带规则类别与一个请求 id，绝不带命中的原文。
- 上游看到占位符；数据的主人看到自己的原值被还原回来
- 长粘贴不豁免 —— 超长字符串先落盘哨兵化，再按固定大小窗口回扫，内存占用与内容长度无关
- 白名单按值匹配、绝不按路径匹配：放行一个测试 key，不会顺手豁免整个字段
### 日志正文：原样存储，每个出口都脱敏
出厂镜像里请求日志默认不落库。打开之后，正文按收到的原样存储，并在每个出口面脱敏 —— Console API 默认脱敏，SSE 与终端输出始终脱敏，脱敏失败即关闭该响应，而不是从失败里漏出去。
- 查看原文是一次显式操作：admin 角色加一个显式的 reveal 开关，并且被审计、被计数
- 脱敏覆盖敏感 body 字段、敏感 query 与 URL 参数、静态与自定义认证方案的请求头，以及 bearer token 值（部分保留以便辨识）
- 发现项只留脱敏片段与命中处有界的上下文，不留命中原文；发现项与日志共用留存期，默认 7 天
默认关闭，是刻意设计
内置规则包出厂即停用，且每条内置规则的动作都是 log。这是安全的上线路径，不是缺口：先在你的真实流量上看清「本来会发生什么」，用自己的误报情况调好白名单，再在真正需要的地方启用 mask 或 block。策略作用域可选全局 / access-key 组 / 单个 access key，规则支持热重载。
#### log
观察。发现项进控制台，只带脱敏片段；请求本身不动。
#### mask
可还原地执行。上游看到占位符；你的客户端仍拿回真实值。
#### block
拒绝。请求被驳回，只带规则类别与一个请求 id —— 绝不带命中原文。
### 它是什么，不是什么
#### 它是什么
- 跑在你自己的网关进程里、作用于模型请求侧，作用域可选全局 / access-key 组 / 单个 access key
- 控制台有独立页面：发现项视图给 admin 与 monitor 角色、规则视图给 admin、带内存预算预检的开关、热重载、操作进审计
- 试运行预览接口：启用之前先拿样本试一条规则
- 每条发现项都能追溯到规则名、类别、严重级别、实际动作、命中次数、模型与 access-key 名称

#### 不是什么
- 不做响应内容检测 —— 响应侧只负责把占位符还原
- 没有 ML，不做越狱 / prompt 注入检测，也不提供 moderation API：规则是确定性的
- 不做离线补审 —— 请求时没扫的内容，之后不会再扫
- 不是 DLP 套件：不覆盖终端、邮件或其他出网通道
- 没有护照号 / SSN / 姓名 / 地址识别器；已知残余缺口有文档记录 —— base64 编码的媒体叶子会跳过，跨两个流式帧被切开的占位符会原样通过

## 你真正拿到的是什么
企业采购最关心的三件事，在价格之前一次说清：合规能签、账单封顶、数据不出网。
### 法务能签的 DPA
GDPR / CCPA 就绪，DPA 可直接签。私有化部署下数据不出你的边界，企业 SSO（OIDC / SAML 2.0）与 SCIM 2.0 开户开箱可用。
- GDPR
- CCPA
- DPA
- SSO
- SCIM
- 审计留痕
### 跑不掉的账单
BYOK 直接向厂商付标准价——不收 token 差价、不按席位收费。按密钥 / 项目设硬配额上限，防止跑飞的脚本吃掉预算。
- 无 token 加价
- 0 席位费
- Prompt 缓存
- 硬配额上限
- 30 天退款
### Prompt 根本不经过我们
全私有化部署——你的 prompt 和补全从不进入我们的系统。BYOK 密钥仅存于网关内存，请求直达厂商官方 API，全程不出你的私有网络。
- 数据不出内网
- 密钥不落库
- TLS 1.3
- 客户端准入
- 自主选型

## 全私有化 · 单机 2GB · 永不加收 Token 费用
BYOK（自带密钥）——你直接向厂商付标准价。我们按「单机 2GB」授权收费，不按席位、不按 Token 加价。更大内存或多机走企业版。
系统内核基于 Rust 打造。网关转发口径下，每 1GB 内存约可承载 100M Token/分钟（TPM）、约 500 请求/分钟（RPM），普通用量约 100 名用户。以上为参考值：实际吞吐受你自己的模型厂商 rate limit 与请求复杂度约束，非 SLA 承诺。
所有档位都含：BYOK 零加价 · 100+ 厂商路由 · 客户端准入控制 · Prompt 缓存 · 成本配额
### 免费版
$0
全私有化 · 单 license
512MB 单实例、无日志留存 —— 适合评估与 POC，不适合生产流量。
- 100+ 大模型路由 · Fallback · 负载均衡
- 跨厂商模型混用 · Agent 内模型降级（plan 锁定 / 非 plan 自动降级）
- 客户端准入控制（User-Agent 策略）
- Prompt 缓存
- BYOK（自带密钥，无加价）
- 512MB 内存上限 · SQLite · 单实例
- GitHub Actions Code Review（走自有网关）
- 日志不保留
### Pro
$400
2GB 固定上限、不可加买。需要多节点、合规（Audit/DLP）或 Management API 请走企业版。
- 免费版所有能力
- 2GB 内存 · 单机（固定上限，不可加买）
- 日志保留
- 企业 SSO（OIDC：Azure AD / Okta / 通用 OIDC，另含 SAML 2.0 + SCIM）
- PostgreSQL · 2GB 内存
- 邮件 / 工单支持
30 天内不满意,100% 退款
### 企业版
$400/GB起
按内存容量 · 按年付 · 30 天内可退款
- Pro 所有能力
- 按内存容量计费（节点 × 内存，flat $400/GB/月）
- 多节点 / 集群部署
- GitHub Actions Code Review（走自有网关）
- Microsoft 365 加载项（Excel/Word/PPT/Outlook·付费增值）
- 更长日志保留
- 优先支持响应
- 合规（审计 / DLP）
- Management API（程序化管理 API Key · 配额 · 用量查询 · 审计导出）
需要更大容量或定制配置？
## 功能对比

| 能力 | 免费版 | Pro | 企业版 |
| --- | --- | --- | --- |
| 多模型路由 · Fallback · 负载均衡 | ✓ | ✓ | ✓ |
| 跨厂商模型混用（规划/执行分厂商） | ✓ | ✓ | ✓ |
| Agent 内模型降级（plan 锁定 / 非 plan 自动降级） | ✓ | ✓ | ✓ |
| Prompt 缓存 | ✓ | ✓ | ✓ |
| BYOK（自带密钥，无加价） | ✓ | ✓ | ✓ |
| 内存档位 | 512MB | 2GB（固定） | 可定制 |
| 存储 / 数据库 | SQLite（单实例） | PostgreSQL · 2GB | PostgreSQL + Redis 集群 |
| 部署规模 | 1 instance | 1 instance · 单机 2GB | 多节点 / 集群 |
| 每 GB 吞吐（参考值） | — | 2GB ≈ 200M TPM / 1,000 RPM | 每 GB ≈ 100M TPM / 500 RPM |
| 日志保留 | 不保留 | 保留 | 更长保留 |
| SSO（OIDC / SAML 2.0） | — | ✓ | ✓ |
| SCIM 2.0 自动开户 | — | ✓ | ✓ |
| 合规（审计 / DLP） | — | — | ✓ |
| Management API（程序化管理 Key · 配额 · 用量 · 审计） | — | — | ✓ |
| 自有价目表 / 价格快照（含私有议价价） | ✓ | ✓ | ✓ |
| 费用配额（日 / 月，三层继承） | ✓ | ✓ | ✓ |
| 支持响应 | 社区 | 邮件 / 工单 | 优先响应 |
| 分模式模型治理（plan/execute 可强制） | ✓ | ✓ | ✓ |
| 客户端准入控制（User-Agent 策略） | ✓ | ✓ | ✓ |
| GitHub Actions Code Review（走自有网关） | ✓ | ✓ | ✓ |
| Microsoft 365 加载项（Excel/Word/PPT/Outlook·自托管） | — | 附加购买 | 附加购买 |
| Purview 敏感度标签门控（addin.access / file.upload） | — | — | ✓ |

## FAQ
### AI 网关会加多少延迟？

SaaS 网关会在你的网络之外多一跳。GateLLM 自托管在你的 VPC 内；到模型厂商 API 的多一跳是本地进程间通信——亚毫秒开销，对流式首 token 时延几乎无影响。
### 供应商宕机或撞 rate limit 怎么办？

直连单一供应商是单点故障。GateLLM 支持跨供应商 fallback——主用返回 5xx 或超时即切到备用供应商，代码零改动。也可在同一上游挂多把 key：确定性哈希把每个调用方粘到同一把 key（缓存亲和），某把失败即换下一把未试过的 key 重试。
### 我到底需不需要网关？

诚实门槛：单一供应商、单一团队、无合规约束、月度花费可控——直接调 API 即可，你不需要网关。当你需要多供应商 failover、按团队的成本归因、合规 / 数据驻留、或对失控支出的实时可见性时，网关才开始回本。
### BYOK 模式下，GateLLM 怎么赚钱？

我们按单机 2GB 授权收费（Pro $400/月，年付 8 折 $3,840/年），不按 token 加价、不按席位收费。你直接向模型厂商支付标准价，GateLLM 不收中间差价。
### 我的 API Key 和数据会出网吗？

不会。BYOK 模式下，API Key 仅存储在网关内存中，不落库、不传输。请求经网关路由后直达模型厂商官方 API，数据全程不出你的私有网络。
### 怎么确认网关服务的是真模型，而非偷换的小模型？

用 SaaS 聚合器你只能信它一句话。GateLLM 是 BYOK + 自托管：用你自己的 key，请求从你的网关直达模型厂商 API 端点——模型身份由厂商 API 本身保证，中间没有可被替换的一跳。

## 开始构建你的多模型 AI 应用
全私有化部署 · 单机 2GB · 永不加收 Token 费用。

## 相关页面
- [定价](https://www.gatellm.io/zh-CN/pricing.md)
- [成本计算器](https://www.gatellm.io/zh-CN/calculator.md)
- [关于](https://www.gatellm.io/zh-CN/about.md)
- [预约演示](https://www.gatellm.io/zh-CN/demo.md)
- [常见问题](https://www.gatellm.io/zh-CN/faq.md)
- [对比 AI 网关](https://www.gatellm.io/zh-CN/compare.md)
- [对比 LiteLLM](https://www.gatellm.io/zh-CN/compare/litellm.md)
- [对比 OpenRouter](https://www.gatellm.io/zh-CN/compare/openrouter.md)
- [对比 Alibaba Cloud AI Gateway](https://www.gatellm.io/zh-CN/compare/alibaba-cloud.md)
- [对比 Azure API Management](https://www.gatellm.io/zh-CN/compare/azure-apim.md)
- [对比 Apigee](https://www.gatellm.io/zh-CN/compare/apigee.md)
- [对比 Cloudflare AI Gateway](https://www.gatellm.io/zh-CN/compare/cloudflare.md)
- [对比 Kong AI Gateway](https://www.gatellm.io/zh-CN/compare/kong.md)
- [对比 Portkey](https://www.gatellm.io/zh-CN/compare/portkey.md)
- [LiteLLM vs Kong AI Gateway 对比](https://www.gatellm.io/zh-CN/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter 对比](https://www.gatellm.io/zh-CN/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey 对比](https://www.gatellm.io/zh-CN/compare/litellm-vs-portkey.md)
- [场景方案](https://www.gatellm.io/zh-CN/use-cases.md)
- [降低调用成本](https://www.gatellm.io/zh-CN/use-cases/reduce-cost.md)
- [做到高可用](https://www.gatellm.io/zh-CN/use-cases/high-availability.md)
- [多租户隔离](https://www.gatellm.io/zh-CN/use-cases/multi-tenant.md)
- [合规与审计](https://www.gatellm.io/zh-CN/use-cases/compliance-audit.md)
- [从症状排障](https://www.gatellm.io/zh-CN/use-cases/troubleshooting.md)
- [混合多供应商模型栈](https://www.gatellm.io/zh-CN/use-cases/mixed-model-stack.md)
- [在 Office 里自托管用 AI](https://www.gatellm.io/zh-CN/use-cases/self-hosted-office-ai.md)
- [Token 用量可见与归因](https://www.gatellm.io/zh-CN/use-cases/token-ops.md)
- [Token FinOps: AI 支出分摊与管控](https://www.gatellm.io/zh-CN/use-cases/token-finops.md)
- [MCP 工具治理](https://www.gatellm.io/zh-CN/use-cases/mcp-tool-governance.md)
- [给模型统一加联网搜索](https://www.gatellm.io/zh-CN/use-cases/web-search-grounding.md)
- [多 Key 轮询与备用](https://www.gatellm.io/zh-CN/use-cases/multi-key-pooling.md)
- [限制接入的客户端](https://www.gatellm.io/zh-CN/use-cases/client-admission-control.md)
- [强制模型使用策略](https://www.gatellm.io/zh-CN/use-cases/enforce-model-policy.md)
- [客户端不暴露模型选择](https://www.gatellm.io/zh-CN/use-cases/automatic-model-tiering.md)
- [一套协议接任意模型](https://www.gatellm.io/zh-CN/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 加载项](https://www.gatellm.io/zh-CN/office-addin.md)
- [术语表](https://www.gatellm.io/zh-CN/glossary.md)
- [模型目录](https://www.gatellm.io/zh-CN/models.md)
- [SDK 与框架集成](https://www.gatellm.io/zh-CN/integrations.md)
- [AI Coding Agent 与 Harness](https://www.gatellm.io/zh-CN/coding-agents.md)
- [安全与合规](https://www.gatellm.io/zh-CN/security.md)
- [隐私政策](https://www.gatellm.io/zh-CN/privacy-policy.md)
- [服务条款](https://www.gatellm.io/zh-CN/terms.md)
- [Cookie 政策](https://www.gatellm.io/zh-CN/cookies.md)
- [数据处理协议 (DPA)](https://www.gatellm.io/zh-CN/dpa.md)
- [子处理方清单](https://www.gatellm.io/zh-CN/subprocessors.md)
- [安全问卷预答库 (CAIQ/SIG/VSA)](https://www.gatellm.io/zh-CN/trust.md)
- [事故响应与支持服务](https://www.gatellm.io/zh-CN/sla.md)
- [漏洞披露政策](https://www.gatellm.io/zh-CN/vulnerability-disclosure.md)
- [开源许可声明](https://www.gatellm.io/zh-CN/open-source-licenses.md)
- [版本支持与生命周期 (EOL)](https://www.gatellm.io/zh-CN/lifecycle.md)
- [技术博客](https://www.gatellm.io/zh-CN/blog.md)
- [你的 Agent 权限比员工还大:在网关层治理 MCP 工具](https://www.gatellm.io/zh-CN/blog/mcp-tool-governance.md)
- [一张一万美元的账单:五种降低 LLM 成本又不让应用变笨的做法](https://www.gatellm.io/zh-CN/blog/reduce-cost.md)
- [厂商的目录价不是你的成本:把真正的 FinOps 用到 Token 支出上](https://www.gatellm.io/zh-CN/blog/token-finops.md)
- [llms.txt](https://www.gatellm.io/zh-CN/llms.txt)