企业 AI 治理:CIO 会问的四个问题
每一次关于 AI 花销的高管评审,最后都落到四个问题。本页每一个回答都指向一个可核实的已上线机制,不是路线图。
开一个模型访问权限很容易,治理它不容易。下面四个问题决定一个 AI 项目能不能过第一次审计:谁在用哪个模型、花了多少记给谁、数据有没有出网、换一家厂商要花多少工程时间。
谁在用哪个模型,用了多少?
每个请求都带密钥、密钥分组和模型。GateLLM 按请求记录 input、output 和缓存命中的 token,粒度为分钟,并给出按密钥、分组和模型切分的日/月时序。准入控制按请求头决定哪些客户端能连进来。
- •用量与成本可以按人、按密钥、按密钥分组和按模型拆开 —— 不需要重建日志。
- •客户端准入按 User-Agent 在全局、分组和密钥三个作用域上管控。
- •请求级记录保留了端到端追一次调用所需的标识。
花了多少钱,记在谁账上?
计费走的是你自己的价目表,不是厂商的挂牌价。钉住你谈好的价格,用标签把调用分摊到成本中心,按时间窗导出报表,并设置日/月成本配额 —— 预算用尽时请求被拒。GateLLM 在厂商价格之上不加任何 token 加价。
- •按时间窗保存的价目快照让几个月前的报表仍然可复现。
- •基于标签的分摊把 AI 开销变成一本可入账的账。
- •日/月配额在触顶时返回 429,失控的 Agent 会停在你定的那个数上。
数据有没有出网,能证明吗?
网关跑在你这边,所以提示词和响应流量不经过我们。BYOK 下厂商密钥只存在于网关内存。凭据和 PII 在请求侧被识别,可以按作用域记录、脱敏或拦截;落盘的日志内容在每一个出口点都已脱敏。
- •请求只发往你配置的模型端点 —— 包括自建的 vLLM 或 Ollama 上游。
- •请求日志默认关闭;查看原文仅限管理员且留审计。
- •支持 OIDC 或 SAML 单点登录与 SCIM 同步;按租户的密钥与配额。
如果厂商挂了、或者我们要换模型,要改多少代码?
厂商返回 5xx 或超时时,请求会在另一家厂商上重试,不需要动应用代码。四类聊天协议双向互译,客户端可以继续用自己那套 SDK。模型身份在网关侧映射 —— 按访问密钥、按请求头或走兜底规则 —— 能力元数据来自注册表。
- •5xx 或超时跨厂商兜底,客户端无需改动。
- •入口白名单与兜底映射让一个模型名保持稳定,后端可以换。
- •能力元数据从注册表加载,模型变化不需要发版。