企業 AI 治理:CIO 會問的四個問題
每一次關於 AI 花費的高階主管審查,最後都落到四個問題。本頁每一個回答都指向一個可核實的已上線機制,不是路線圖。
開一個模型存取權限很容易,治理它不容易。下面四個問題決定一個 AI 專案能不能過第一次稽核:誰在用哪個模型、花了多少記給誰、資料有沒有出網、換一家廠商要花多少工程時間。
誰在用哪個模型,用了多少?
每個請求都帶金鑰、金鑰分組和模型。GateLLM 依請求記錄 input、output 和快取命中的 token,粒度為分鐘,並給出依金鑰、分組和模型切分的日/月時序。准入控制依請求標頭決定哪些用戶端能連進來。
- •用量與成本可以依人、依金鑰、依金鑰分組和依模型拆開 —— 不需要重建日誌。
- •用戶端准入依 User-Agent 在全域、分組和金鑰三個作用域上管控。
- •請求級記錄保留了端到端追一次呼叫所需的識別碼。
花了多少錢,記在誰帳上?
計費走的是你自己的價目表,不是廠商的牌價。釘住你談好的價格,用標籤把呼叫分攤到成本中心,依時間窗匯出報表,並設定日/月成本配額 —— 預算用盡時請求被拒。GateLLM 在廠商價格之上不加任何 token 加價。
- •依時間窗保存的價目快照讓幾個月前的報表仍然可重現。
- •依標籤的分攤把 AI 花費變成一本可入帳的帳。
- •日/月配額在觸頂時回傳 429,失控的 Agent 會停在你定的那個數字上。
資料有沒有出網,能證明嗎?
閘道器跑在你這邊,所以提示詞和回應流量不經過我們。BYOK 下廠商金鑰只存在於閘道器記憶體。憑證和 PII 在請求側被識別,可以依作用域記錄、遮蔽或攔截;落盤的日誌內容在每一個出口點都已遮蔽。
- •請求只發往你設定的模型端點 —— 包括自架的 vLLM 或 Ollama 上游。
- •請求日誌預設關閉;查看原文僅限管理員且留稽核。
- •支援 OIDC 或 SAML 單一登入與 SCIM 同步;依租戶的金鑰與配額。
如果廠商掛了、或者我們要換模型,要改多少程式碼?
廠商回傳 5xx 或逾時時,請求會在另一家廠商上重試,不需要動應用程式碼。四類聊天協定雙向互譯,用戶端可以繼續用自己那套 SDK。模型身分在閘道器側對應 —— 依存取金鑰、依請求標頭或走備援規則 —— 能力中繼資料來自註冊表。
- •5xx 或逾時跨廠商備援,用戶端無需改動。
- •入口白名單與備援對應讓一個模型名稱保持穩定,後端可以換。
- •能力中繼資料從註冊表載入,模型變化不需要發版。