入門開發 + 平台工程
說一種協定,跑任何模型。
你的應用只保留一套 SDK 與一種傳輸格式。閘道在四種對話協定家族之間轉譯,並正規化串流、工具呼叫與錯誤 — 因此新增廠商或更換模型都不會動到業務程式碼。
社群真正在抱怨什麼
「我們加了第二家廠商,現在要維護兩條 SDK 路徑、兩個串流解析器與兩種工具呼叫格式。」「Claude Code 只說 Anthropic,所以我們沒辦法讓它跑別的模型。」「每個號稱 OpenAI 相容的代理,總有某處會壞。」
模型真正的成本是 API 呼叫,加上圍繞它寫的程式碼。後者從不出現在帳單上 — 它出現在衝刺裡,而且每多一家廠商就乘一倍。
GateLLM 怎麼做
兩側各有四種協定家族 — OpenAI、Anthropic、Gemini、DashScope — 任意互轉。只支援 Anthropic 的用戶端(Claude Code、claude-code-action)不必改設定就能觸及 Qwen 或 DeepSeek 原生的模型;四大家族之外,另依互通矩陣涵蓋 15 種上游協定形態。
能力正規化層處理協定轉換真正的成本:串流區塊形態、工具呼叫與結果的對應、影像與多模態片段,以及錯誤語意。金鑰、政策與成本分攤在任何協定組合下都一致適用。
真正有效的 5 個槓桿
- 用戶端只有一套 SDK、一個串流解析器、一種工具呼叫格式 — 新增廠商只是主控台的一次變更
- 只支援 Anthropic 的代理可以跑任何支援的模型;不必 fork、不必寫轉接層
- 模型更換留在閘道內,應用程式碼與其測試完全不動
- 原生 egress:各供應商收到自己的協定,而不是被再轉譯過的 OpenAI 信封
- 任何協定組合下都是同一套金鑰、預算與政策面