AI 网关常见问题

前提是网关按实例授权而非加收 token 费。GateLLM 按 4GB 实例授权(Pro $400/月),永不加收 token 费、不收平台费或支付手续费,你直接向厂商付标准价。真正的省钱来自组合(Composition):规划用 Claude Opus、执行用 GLM / Qwen / DeepSeek,同等产出约 1/10 成本。SaaS 聚合商通常加收约 5–8% 平台费 + 支付费,量大时是隐性成本。

诚实标准:单 provider、单团队、无合规硬约束、月费可控 —— 直接调 API 更简单,不需要网关。当出现多 provider 故障切换、多团队成本归因、合规 / 数据不出网、或成本失控需要实时可见时,网关才开始回本。别在真正需要之前引入。

单 provider 直连即单点故障,厂商一宕全线挂。GateLLM 支持跨厂商 fallback:主厂商 5xx / 超时自动切到备选 provider,业务代码不用改。更进一步可走聚合(Ensemble):一次调用扇出 N 个模型投票 / 裁判 / best-of-N,拿到单模型给不了的可靠性。

SaaS 网关多一跳出网往返。GateLLM 自托管在你的 VPC 内,到厂商 API 的额外跳是本机进程间通信,亚毫秒级开销,流式首 token 延迟几乎不受影响。

可以。GateLLM 的组合支持分模式治理:管理员锁定 plan / execute 档位 —— 规划走顶尖闭源模型、执行走开源 SOTA,约 10% 成本拿约 98% 能力;也可按 token 数 / 复杂度分类路由,杜绝全程只用最贵模型。

劣质代理会:缓冲流式响应、破坏 tool_calls 的 JSON 分片,或不同厂商 tool calling 格式不兼容。GateLLM 原生流式透传不缓冲,并做能力归一化 —— 把 tool calling、结构化输出、prompt 缓存、推理 token 等七个跨厂商耦合点统一为单一接口,跨厂商组合 / 聚合不会因格式差异踩坑。

中转站把你的请求经它转发,你的 prompt、密钥、输出都暴露给它,且有降智 / 投毒 / 跑路风险(CISPA 研究实测 45.83% 中转端点无法通过模型指纹验证)。GateLLM 是 BYOK 自托管:密钥仅存网关内存不落库不外传,请求经网关直达厂商官方 API,不经任何第三方 —— 没有「假模型 / 降智 / 跑路」的空间。

可以。GateLLM 全私有化部署在你内网,数据全程不出网,满足数据出境合规;原生支持 DashScope 协议接入通义 / 智谱 / DeepSeek / 豆包等国产模型;支持信创(鲲鹏 / 海光)与等保三级。闭源模型走组合降量,减少跨境调用。

月账单太晚。GateLLM 的 Token Ops 做请求级成本归因 —— 按团队 / agent / 模型 / 客户端归因,实时可见 burn rate,可设 per-agent 预算上限真的能中断调用。crash-safe 计费(pre-deduct → settle → refund)保证进程崩溃也计费正确;Management API 可导出对账数据接入内部计费系统。

用 SaaS 聚合商时你只能信任它的承诺 —— 没有密码学验证能保证它没悄悄换成小模型赚差价(OpenRouter 自己也不做模型身份验证)。GateLLM 是 BYOK 自托管:你用自己的密钥、请求从你的网关直达厂商官方 API endpoint,模型身份由厂商 API 本身保证,中间无任何可替换环节。

兼容。把 OpenAI SDK 的 base_url 指向 GateLLM(带 /v1),其余代码不用改,即可用统一接口调用所有模型。也支持 Anthropic Messages、Gemini、DashScope 协议入口 —— 任意 A→B 双向转换。改一个 base_url 完成迁移。

LiteLLM 是优秀的开源 LLM 代理,翻译 API 信封。GateLLM 在此之上做能力归一化(统一 tool calling / 结构化输出等七个耦合点)、组合、聚合,以及全私有化企业治理(SSO/SCIM、审计、等保 / 信创)。详见 /compare/litellm。

支持。全私有化部署在你 VPC;BYOK 密钥仅内存不落库;SSO/SCIM(SAML / OIDC / 飞书 / 钉钉);请求级审计日志可导出;SOC 2 Type II / ISO 27001 / GDPR / 等保三级 / 信创就绪。详见 /security。