LiteLLM と Kong AI Gateway
どちらもセルフホスト可能で、どちらもオープンコアです。決め手となるのは、あなたのゲートウェイが LLM ゲートウェイなのか、それともモデルとも話す汎用 API ゲートウェイなのかという点です。
LiteLLM と Kong AI Gateway が比較されるのは、多くのチームが候補に挙げる 2 つのセルフホスト可能な選択肢だからです。しかし両者は同じ種類のソフトウェアではありません。LiteLLM は LLM プロキシで、その全面がモデル、プロバイダー、OpenAI 互換ルーティングです。Kong は汎用 API ゲートウェイ（プラグイン、アップストリーム、任意の HTTP トラフィックに対するレート制限）に AI プラグインを追加したものです。この違いが下のすべての行を規定します。プロトコルのエントリポイント、ガバナンスの粒度、そしてどこまで自分で作る必要があるかです。
3 つのゲートウェイ、5 つの基準
最初の 2 列はそれぞれ該当する比較ページを 1 行で要約したものです。GateLLM の列は当社の立場であり、第三者の評価ではありません。その前提で判断してください。
| 基準 | LiteLLM | Kong AI Gateway | GateLLM |
|---|---|---|---|
| デプロイ | セルフホスト OSS | セルフホスト OSS（+ マネージド Konnect） | 完全セルフホスト（Docker / Helm）、ベンダーのコントロールプレーンなし |
| 請求の基準 | OSS は無料。Enterprise は従量課金 | OSS は無料。Enterprise 限定のプラグイン | インスタンス単位のライセンス。トークンへの上乗せなし、シート課金なし |
| プロトコルのエントリポイント | OpenAI 中心 | OpenAI 互換 + AI プラグイン | 4 イングレス × 4 エグレス（OpenAI / Anthropic / Gemini / DashScope） |
| ガバナンス | SSO（5 ユーザー上限）/ RBAC は Enterprise | RBAC / SSO は Enterprise | SSO / SCIM / RBAC + キーグループ単位の ACL と予算上限 |
| ベンダーの独立性 | 独立（BerriAI） | 独立（Kong Inc.） | 独立（Fluxon LLC） |
LiteLLM を選ぶとき、Kong を選ぶとき、どちらも選ばないとき
統制するトラフィックがモデルのトラフィックだけで、プラグイン DSL を学ばずにモデル単位のルーティング、プロバイダーのフォールバック、コスト配賦を行いたく、Python サービスの運用に抵抗がないなら LiteLLM を選んでください。「多数のプロバイダーを呼ぶ」から「多数のプロバイダーをひとつのエンドポイントで呼ぶ」への最短経路です。
LLM 以外の API トラフィックで既に Kong を運用しているなら Kong を選んでください。既存のゲートウェイ（プラグイン、レート制限、運用ランブック）を再利用するほうが、AI のためだけに 2 つ目のゲートウェイを導入するより通常は優れています。AI プラグインはその判断の半分に過ぎません。
単一プロバイダー、単一チーム、管理可能な月額請求が実際の状況なら、どちらも選ばないでください。プロバイダー API を直接呼ぶほうがどちらよりシンプルで、マルチプロバイダーのフェイルオーバー、チーム別のコスト配賦、プロバイダーでは得られないコンプライアンス管理が必要になるまで、ゲートウェイは運用コストに見合いません。