# LLM ゲートウェイとは?定義・用途・選び方 - GateLLM

> LLM ゲートウェイは、すべてのアプリ・エージェント・IDE が呼ぶ単一のエンドポイントです。プロトコル変換、鍵の保管、計測、監査を一か所に集約します。何をするのか、いつ必要か、いつ不要か、そして選び方を解説します。

正規 URL: https://www.gatellm.io/ja/llm-gateway/

## LLM ゲートウェイとは?

すべてのアプリ、エージェント、IDE が呼ぶ単一のエンドポイント — そしてモデル通信をルーティングし、計測し、保護し、監査する一か所。

この言葉は緩く使われています。同じ層を AI ゲートウェイ、LLM プロキシ、LLM ルーターと呼ぶベンダーもあります。本ページでは正確に定義し、混同されがちなものと切り分け、導入すべきでない場面も明示します。

LLM ゲートウェイ — AI ゲートウェイ / LLM プロキシ / LLM ルーター

## LLM ゲートウェイとは?

LLM ゲートウェイは、アプリケーションとモデルプロバイダの間に位置するサービスです。アプリは 1 つのエンドポイントを呼び、ゲートウェイが各リクエストを設定済みのモデルへ転送し、プロトコルを変換し、プロバイダの鍵を保持し、利用量を記録します。あなたの通信で学習せず、プロンプトを書き換えず、モデルを置き換えもしません。

- モデルではなくインフラです — モデルはあなたが選んだプロバイダのままです。
- 1 つのエンドポイントで、チャットアプリ、コーディングエージェント、バッチ処理、リアルタイム音声、MCP ツール呼び出しを扱えます。
- 有用な線引き:リクエスト経路はゲートウェイが、プロンプトはアプリが持ちます。

## LLM ゲートウェイは実際に何をするのか?

4 つの仕事です。各リクエストを適切なモデルへルーティングする、プロトコルを正規化してどのクライアントからもどのプロバイダにも接続できるようにする、鍵とアクセス制御を集約する、すべての呼び出しをコストと監査のために記録する。キャッシュ、予算、コンテンツ検査はこの 4 つの上に載ります。

- ルーティングとフォールバック:エージェントの役割ごとにモデルを選び、5xx やタイムアウト時は別プロバイダで再試行し、上流の鍵をプールします。
- プロトコル変換:4 系統のチャットプロトコルを双方向に変換するので、クライアントは既存の SDK を使い続けられます。
- ガバナンス:鍵グループ、リクエストヘッダーによる入場制御、テナント別クォータ、SSO と SCIM、リクエスト単位の監査ログ。
- 可観測性:鍵・チーム・モデル別に分単位のトークンとコスト時系列。

## なぜ企業はモデルの前にゲートウェイを置くのか?

モデル利用が 1 チームの問題ではなくなるからです。複数のチーム、ベンダー、エージェントがモデルを呼び始めると、論点は調達の論点になります。誰がどのモデルを使えるか、部門ごとの費用はいくらか、データは外部に出たか、プロバイダ変更にどれだけの工数がかかるか。ゲートウェイはこれらをコード変更ではなく設定で答えます。

- コスト配賦:呼び出しごとに鍵とタグが付くので、チーム別に費用を分けられます。
- データ経路:ゲートウェイはあなたのネットワーク内で動作し、リクエストは設定した宛先にのみ送られます。
- 継続性:プロバイダ障害やモデル変更はルーティング層で処理され、各アプリを改修しません。
- 調達:セルフホスト + BYOK により、鍵と通信は自社のプロバイダ契約の下に留まります。

## どういうときに LLM ゲートウェイが必要か?

次のうち 2 つ以上が当てはまるときです。モデルプロバイダが 2 社以上、利用チームが 2 つ以上、コンプライアンスやデータ所在地の要件がある、あるいは請求書を誰も説明できないほど支出が大きい。その線より下では、プロバイダ API を直接呼ぶほうが簡単で安く済みます。ゲートウェイは運用対象が 1 つ増えるということです。

- 能力・コスト・冗長性のために 2 社以上を使っている。
- チーム別・顧客別のコストレポートが繰り返し求められる。
- データを特定のネットワーク・リージョン・テナント外に出せない。
- 複数のエージェントと IDE が今 1〜2 個の API キーを共有している。

## ゲートウェイが誤った選択になるのはどんなとき?

チームが 1 つ、プロバイダが 1 社、アプリが 1 つだけのときです。ゲートウェイはホップ、デプロイ、オンコール対応面を増やします。月次のモデル費用が予測でき、コンプライアンス要件も単純なら、プロバイダ API を直接呼び、2 社目・2 チーム目・最初の監査依頼が来た時点で再検討してください。

- 1 社のプロバイダ上のプロトタイプや単一の社内ツールには不要です。
- プロンプト管理やモデル評価は別の製品で、ゲートウェイでは代替できません。
- どんなゲートウェイもプロバイダ契約を読む手間をなくしません。

## ゲートウェイは中継サービスやプロバイダ SDK の直接利用とどう違う?

中継サービスはあなたの代わりにプロバイダへ通信を転送し、しばしば鍵を預かり手数料を上乗せします。自分で運用するゲートウェイは鍵と通信を自社ネットワークに留め、ルーティング・計測・ポリシーを加えます。プロバイダ SDK の直接利用はこの間接層を省けますが、再試行やプロトコル、計測のロジックが各アプリに散らばります。

- プロトタイプなら中継サービスでも構いません。代償はプロンプトと鍵が自社ネットワークの外に出ることです。
- SDK のみは 2 社目のプロバイダが現れるまで最も安価です。その時点で全アプリに同じ接着コードが必要になります。
- 3 つのうち「誰がいくら使ったか」を答えられるのはゲートウェイだけです。

| 観点 | セルフホスト型ゲートウェイ | 中継 / アグリゲーター | プロバイダ SDK のみ |
| --- | --- | --- | --- |
| 動作場所 | 自社 VPC またはオンプレミス | ベンダーのクラウド | 各アプリ内 |
| 鍵の保持者 | 自社のシークレットストア。実行時はゲートウェイのメモリ | 中継ベンダー | 各アプリ |
| モデルの範囲 | 設定した任意のプロバイダ | ベンダーのカタログ | SDK ごとに 1 社 |
| ルーティングとフォールバック | 役割別・鍵別・プロバイダ跨ぎ | ベンダーのカタログ内に限定 | 自社で実装 |
| コストレポート | 鍵・グループ・モデル別、自社の台帳から | ベンダーのダッシュボード | 自作した範囲 |
| 監査範囲 | 自社が保有するリクエスト単位のログ | ベンダーのログ | 各アプリに分散 |

## ゲートウェイはセルフホストと SaaS のどちらにすべき?

鍵、プロンプト、ログを自社ネットワークの外に出せない、あるいは調達がこれ以上サブプロセッサを認めない場合はセルフホストです。プラットフォームチームがなく運用をゼロにしたい場合は SaaS が有利です。判断を分けるのは流行ではなく、あなたの通信を誰が読めるかという一点です。

- セルフホストのコストはコンテナ、アップグレード、運用手順書です。SaaS のコストはサブスクリプションとサブプロセッサ審査です。
- ハイブリッドもあります。セルフホストのデータプレーンとベンダーのコントロールプレーンで、プロンプトは内側に残ってもメタデータは外に出ます。
- 求めるべきはデータフロー図であり、マーケティングページではありません。

| 観点 | セルフホスト | SaaS |
| --- | --- | --- |
| データ経路 | 自社ネットワーク内に留まる | ベンダーを経由する |
| 鍵の保管 | BYOK、ゲートウェイのメモリのみ | ベンダー管理または転送 |
| 運用コスト | コンテナとアップグレードを自社で | ベンダーが運用 |
| 初回利用まで | Compose ファイル 1 つ | サインアップ |
| コンプライアンス面 | 自社の DPA とサブプロセッサ | ベンダーの DPA とサブプロセッサ |
| 障害ドメイン | 自社インフラ | ベンダーのステータスページ |

## どう選べばよいか?

5 つの観点で候補を採点します。どこで動くか、請求の基準は何か、どのプロトコルと SDK をネイティブに話すか、鍵とテナントをどこまで細かく統制できるか、来年もそのベンダーが製品を保有しているか。最後に、どの表にも出ない 1 点を確認します。1 か月前のコストレポートを今日再現できるか。

- デプロイ:セルフホスト、SaaS、ハイブリッド。コントロールプレーンが自社へ通信しないかも確認します。
- 課金の基準:インスタンス単位、シート単位、トークン単位、支出の割合。
- プロトコル:OpenAI、Anthropic、Gemini、DashScope の双方向変換と、ストリーミング・ツール呼び出しの等価性。
- ガバナンス:鍵グループ、ヘッダー ACL、予算、SSO と SCIM、監査エクスポート。
- 再現性:同じ入力から数か月後も同じ数値が出るか。

## LLM ゲートウェイ FAQ

### LLM ゲートウェイと AI ゲートウェイは同じものですか?

実務上は同じです。どちらもアプリとモデルの間の層を指します。違いは対象範囲で、画像・音声・埋め込みも中継する製品もあります。GateLLM はチャット、リアルタイム音声、ウェブ検索、MCP ツール呼び出しを同じエンドポイントで扱います。

### ゲートウェイはレイテンシを増やしますか?

自社ネットワーク内の 1 ホップのみです。GateLLM は独自の推論ステップを追加しません。上流プロバイダの応答時間に比べて小さく、ストリーミングのトークンは到着次第転送されます。

### ゲートウェイはプロンプトを見ますか?

ルーティングのためにメモリ上で処理し、設定に応じてリクエスト経路で認証情報と PII を検出・マスクします。リクエストログは既定で無効です。有効にした場合、保存される本文はすべての出口でマスクされ、原文の表示は管理者のみ・監査付きです。

### 1 つのゲートウェイを複数チームで使えますか?

はい。鍵グループ、グループ別 ACL、テナント別クォータがその仕組みです。各チームに独自の鍵と予算を割り当てつつ、モデルカタログとルーティングルールは共有できます。

## 続けて読む

- [AI ゲートウェイ比較](https://www.gatellm.io/ja/compare.md)
- [ユースケース](https://www.gatellm.io/ja/use-cases.md)
- [用語集](https://www.gatellm.io/ja/glossary.md)
- [コスト計算ツール](https://www.gatellm.io/ja/calculator.md)
- [コスト比較の算出方法](https://www.gatellm.io/ja/methodology.md)
- [エンタープライズ AI ガバナンス](https://www.gatellm.io/ja/enterprise-ai-governance.md)

## 関連ページ
- [ホーム](https://www.gatellm.io/ja/index.md)
- [料金](https://www.gatellm.io/ja/pricing.md)
- [コスト計算ツール](https://www.gatellm.io/ja/calculator.md)
- [会社概要](https://www.gatellm.io/ja/about.md)
- [デモを予約](https://www.gatellm.io/ja/demo.md)
- [FAQ](https://www.gatellm.io/ja/faq.md)
- [AI ゲートウェイ比較](https://www.gatellm.io/ja/compare.md)
- [LiteLLM 比較](https://www.gatellm.io/ja/compare/litellm.md)
- [OpenRouter 比較](https://www.gatellm.io/ja/compare/openrouter.md)
- [Alibaba Cloud AI Gateway 比較](https://www.gatellm.io/ja/compare/alibaba-cloud.md)
- [Azure API Management 比較](https://www.gatellm.io/ja/compare/azure-apim.md)
- [Apigee 比較](https://www.gatellm.io/ja/compare/apigee.md)
- [Cloudflare AI Gateway 比較](https://www.gatellm.io/ja/compare/cloudflare.md)
- [Kong AI Gateway 比較](https://www.gatellm.io/ja/compare/kong.md)
- [Portkey 比較](https://www.gatellm.io/ja/compare/portkey.md)
- [Microsoft 365 Copilot の代替](https://www.gatellm.io/ja/compare/copilot.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ja/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/ja/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/ja/compare/litellm-vs-portkey.md)
- [ユースケース](https://www.gatellm.io/ja/use-cases.md)
- [LLM コスト削減](https://www.gatellm.io/ja/use-cases/reduce-cost.md)
- [高可用性](https://www.gatellm.io/ja/use-cases/high-availability.md)
- [マルチテナント分離](https://www.gatellm.io/ja/use-cases/multi-tenant.md)
- [コンプライアンスと監査](https://www.gatellm.io/ja/use-cases/compliance-audit.md)
- [症状別トラブルシューティング](https://www.gatellm.io/ja/use-cases/troubleshooting.md)
- [マルチベンダー混合モデル構成](https://www.gatellm.io/ja/use-cases/mixed-model-stack.md)
- [Office 内での AI セルフホスト](https://www.gatellm.io/ja/use-cases/self-hosted-office-ai.md)
- [Token 使用量の可視化と帰属](https://www.gatellm.io/ja/use-cases/token-ops.md)
- [Token FinOps：AI コストの配賦と統制](https://www.gatellm.io/ja/use-cases/token-finops.md)
- [MCP ツールガバナンス](https://www.gatellm.io/ja/use-cases/mcp-tool-governance.md)
- [すべてのモデルに Web 検索を追加](https://www.gatellm.io/ja/use-cases/web-search-grounding.md)
- [マルチキーのローテーションと待機系](https://www.gatellm.io/ja/use-cases/multi-key-pooling.md)
- [接続クライアントの受付制御](https://www.gatellm.io/ja/use-cases/client-admission-control.md)
- [モデル利用ポリシーの強制](https://www.gatellm.io/ja/use-cases/enforce-model-policy.md)
- [クライアントにモデル選択を公開しない](https://www.gatellm.io/ja/use-cases/automatic-model-tiering.md)
- [1 つのプロトコルで、あらゆるモデル](https://www.gatellm.io/ja/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 アドイン](https://www.gatellm.io/ja/office-addin.md)
- [用語集](https://www.gatellm.io/ja/glossary.md)
- [エンタープライズ AI ガバナンス](https://www.gatellm.io/ja/enterprise-ai-governance.md)
- [コスト比較の算出方法](https://www.gatellm.io/ja/methodology.md)
- [モデルカタログ](https://www.gatellm.io/ja/models.md)
- [SDK・フレームワーク連携](https://www.gatellm.io/ja/integrations.md)
- [AI コーディングエージェントとハーネス](https://www.gatellm.io/ja/coding-agents.md)
- [セキュリティとコンプライアンス](https://www.gatellm.io/ja/security.md)