高階管理員
決定哪些客戶端能接入你的模型
按請求標頭做放行/拒絕的准入規則——可匹配 User-Agent、來源或任意 header,作用域為全域 / 某個 key 組 / 某個 key。
社群真正在抱怨什麼
「key 一洩露,誰拿著都能燒我們的額度」「我們想把全公司的 coding agent 都放進白名單,但要攔掉裸 curl 和爬蟲」「廠商控制台只有 IP 白名單,可我們流量是動態的、還前置了代理,根本套不上」。
管控必須落在請求真正到達的地方——閘道器——而不是開發隨手就能關掉的客戶端設定上。
GateLLM 怎麼做
GateLLM 對每個請求按 HTTP 頭做准入判定:6 種匹配型別(exact / prefix / regex / exists / absent / any)、3 級作用域(全域 / key 組 / key),按 sort_order 升序、first-match-wins 逐條求值。
「只放行認可的客戶端」走白名單模式:把該組的預設動作設為拒絕,再加一條匹配客戶端特徵的 allow 規則——其餘請求在到達模型前就被拒掉。
落地的 5 個手段
- 6 種匹配型別:exact / prefix / regex / exists / absent / any——一條規則可用正則交替表達「A 或 B 或 C」
- 3 級作用域:全域、按 key 組、按 key——first-match-wins,同 order 下全域優先
- 白名單模式:預設拒絕 + 單條顯式 allow——新出現的未知客戶端預設被拒
- 規則同樣作用於模型列表路由(/v1/models),被拒客戶端端到端鎖死
- ReDoS-safe 線性時間正則引擎——病態 pattern 在載入期就被拒,而非請求期