术语表

GateLLM 的差异化叙事建立在几个自造术语上 —— 这里给出准确定义与行业通用词的对应,便于理解、引用与迁移。

能力归一化

(capability normalization)

把七个跨厂商耦合点(tool calling、结构化输出、prompt 缓存、推理 token、多模态、计费抽象、错误语义)统一为单一接口。这是跨厂商组合(Composition)与聚合(Ensemble)得以成立的前提 —— 否则每个模型各有各的调用约定,组合需为每个模型重写胶水代码。

组合

(Composition)

在一条工作流里混用多款模型:不同步骤跑不同模型。典型用法是规划用顶尖闭源模型(如 Claude Opus)、执行用开源 SOTA(GLM / Qwen / DeepSeek),用约 10% 成本拿到约 98% 能力。通过 client.compose([...]) 调用。

聚合

(Ensemble)

一次逻辑调用扇出到 N 个模型,输出经投票 / 裁判 / 合并 / best-of-N 聚合。拿到单模型给不了的质量与可靠性,适合高风险 / 高价值调用(欺诈检测、医疗辅助、合规判断)。

Token Ops

(LLM observability + cost governance)

面向大模型 API 的可观测、成本归因、预算限流、客户端准入、审计留痕的统称。GateLLM 把这些整合进网关,永不加收 Token 费用。

BYOK

(Bring Your Own Key)

用户自带各模型厂商 API Key 接入网关。密钥仅存于网关内存,不落库、不外传;请求经网关直达厂商官方 API。GateLLM 不收中间差价。