AI ゲートウェイ FAQ

ゲートウェイがトークンに上乗せするのではなくインスタンス単位でライセンスされる場合に限ります。GateLLM は 2GB インスタンス単位のライセンス（Pro 月額 $400）で、トークンへの上乗せもプラットフォーム料や決済手数料もありません。プロバイダーへは標準料金を支払います。実際の削減は Composition から生まれます。トップティアモデル（Claude Opus）が計画し、オープン SOTA モデル（GLM / Qwen / DeepSeek）が実行することで、コストは約 1/7 になります。SaaS アグリゲーターは通常 5〜8% 程度のプラットフォーム料 + 決済手数料を上乗せするため、量が増えると無視できない隠れコストになります。

正直な基準をお伝えします。単一プロバイダー、単一チーム、コンプライアンス上の制約なし、月額支出が管理可能であれば、API を直接呼ぶほうがシンプルでゲートウェイは不要です。マルチプロバイダーのフェイルオーバー、チーム別のコスト配賦、コンプライアンス / データレジデンシー、暴走支出のリアルタイム可視化が必要になったときに、ゲートウェイは元を取ります。本当に必要になる前に導入しないでください。

単一プロバイダーへの直接接続は単一障害点で、1 回の障害でアプリ全体が止まります。GateLLM はクロスプロバイダーのフォールバックに対応し、プライマリが 5xx を返すかタイムアウトすると、コード変更なしでバックアッププロバイダーへトラフィックを移します。さらに重要な呼び出しでは、オーケストレーション層（例：GitHub Actions の並列レビュー）でマルチモデルのコードレビューを実行できます。ゲートウェイがプロトコル相互運用を提供するため、複数のモデルが同じリクエストを確認できます。

SaaS ゲートウェイは自社ネットワークの外へ余分なホップを追加します。GateLLM は VPC 内でセルフホストされ、ベンダー API への追加ホップはローカルなプロセス間通信です。オーバーヘッドは 1 ミリ秒未満で、ストリーミングの最初のトークンまでの時間への影響は無視できます。

はい。GateLLM の Composition はモードを意識したポリシーに対応し、管理者が plan / execute の階層を固定できます。計画はトップティアのクローズドモデル、実行はオープン SOTA で、約 14% のコストで約 97% の能力を維持します。トークン数や複雑さで分類して動的にルーティングし、すべてのトラフィックが最も高価なモデルに集まることを防ぐこともできます。

粗悪なプロキシは壊します。ストリームをバッファリングしたり、tool_calls の JSON 断片を壊したり、クロスベンダーのツール呼び出し形式の違いで失敗したりします。GateLLM はストリームをバッファリングせずネイティブに通し、ケイパビリティ正規化を行います。ツール呼び出し、構造化出力、プロンプトキャッシュ、推論トークン、その他 3 つのクロスベンダー結合点をひとつのインターフェースに統一するため、クロスベンダーのモデル混在が形式差で壊れることはありません。

リレーは自社サーバー経由でリクエストを転送するため、プロンプト、キー、出力がすべてリレー事業者に露出し、モデルの差し替え、劣化、事業者が姿を消すといった現実的なリスクがあります（CISPA の研究では、モデル指紋テストの 45.83% で本人確認の失敗が確認されました。arxiv.org/abs/2603.01919）。GateLLM は BYOK かつセルフホストです。キーはゲートウェイのメモリ内だけに存在し、リクエストはベンダー API へ直接向かい、経路に第三者は存在しません。差し替え、劣化、消失の余地はありません。

はい。GateLLM はネットワーク内に完全にデプロイでき、データが外に出ないためデータ輸出のコンプライアンスを満たします。DashScope プロトコルをネイティブに話すため、国内モデル（通義 / 智譜 / DeepSeek / Doubao）へ到達できます。Composition によりクローズドモデルのトラフィックを減らし、越境呼び出しを削減します。

月次請求書では遅すぎます。GateLLM の Token Ops はリクエストごとにコストを配賦し（チーム / エージェント / モデル / クライアント別）、消費ペースをリアルタイムに可視化し、呼び出しを実際に停止するエージェント単位の予算上限を提供します。クラッシュセーフな課金（事前差し引き → 精算 → 返金）はプロセスクラッシュをまたいでも正しく、Management API で照合データを社内の請求システムへエクスポートできます。

SaaS アグリゲーターでは、その言葉を信じるしかありません。マージンを稼ぐために黙って小型モデルに差し替えていないことを暗号学的に検証する手段はありません（OpenRouter 自身もモデル ID の検証は行っていません）。GateLLM は BYOK かつセルフホストです。自社のキーを使い、リクエストは自社ゲートウェイからベンダー API のエンドポイントへ直接向かうため、モデルの ID はベンダー API 自体が保証し、間に差し替え可能なホップはありません。

はい。OpenAI SDK の base_url を GateLLM に向け（/v1 付き）、他のコードを変更せずに、すべてのモデルをひとつの統一インターフェースで呼び出せます。base_url の差し替え 1 回で移行が完了します。機能のずれもプロキシシムもなく、お使いの OpenAI クライアントがベンダー相当の統一エンドポイントを直接駆動します。

いいえ。ひとつのゲートウェイですべてに対応します。OpenAI SDK の base_url はゲートウェイ（/v1 付き）へ、Anthropic SDK はゲートウェイのルートへ（SDK 自身が /v1/messages を付加し、キーは x-api-key ヘッダー）、Google Gemini SDK は直接接続します（キーは x-goog-api-key ヘッダー）。ゲートウェイは 4 つのイングレス + 4 つのエグレスプロトコル（OpenAI / Anthropic / Gemini / DashScope）を双方向に翻訳するため、クライアントとアップストリームのプロトコルが異なっていてもかまいません。OpenAI SDK から Claude を、Anthropic SDK から GPT を、Gemini SDK から DeepSeek をコード変更なしで呼び出せます。Cherry Studio のような第三者クライアントは OpenAI 互換のイングレスを使います。プロトコル相互運用マトリクスは docs.gatellm.io の reference/protocol-matrix を参照してください。

はい。Bedrock はアップストリームとして接続でき（aws_converse / aws_invoke プロトコル、Bedrock API キー + リージョナルランタイムエンドポイント、推論プロファイル対応）、クライアントは OpenAI / Anthropic / Gemini SDK を使い続け、ゲートウェイがプロトコルを翻訳します。Bedrock 上の Claude / GLM とベンダー直接のモデルを、同じルーティング / ロードバランサーの下でひとつのガバナンス面に混在させられます。

はい。ゲートウェイには MCP プロキシが内蔵され、複数の外部 MCP ツールサーバー（streamable HTTP / SSE）をひとつの /mcp エンドポイントの背後に集約します。Claude Desktop や任意の MCP クライアントが、ゲートウェイのキー 1 つですべてを呼び出せます。キーグループ単位のツール ACL とコンテキスト予算でアクセスを統制し、ツール一覧が長くなったときは組み込みの BM25 検索を使えます。ツールの受け入れ、レート制限、監査はモデルのトラフィックと同じガバナンス面を共有します。

はい。ゲートウェイは /v1/realtime で WebSocket セッションをブリッジします（OpenAI Realtime と DashScope Realtime プロトコル）。長時間の音声セッションは HTTP トラフィックと並行して動作し、同じキー認証と受け入れを使い、ターン単位（response.create → response.done）で計測され、HTTP と同じ統計 / 課金 / ログのパイプラインに流れます。コスト台帳はひとつに統一されます。

5 つの層があります。キーグループは各テナントが到達できるモデルとロードバランサーをスコープし、アクセスキー + Header ACL ルールがリクエストヘッダーでクライアントを区別し、ID スコープのモデルマッピングが同じモデル名をテナントごとに異なるアップストリームへルーティングし、キー単位の RPM / 同時実行数 / TPM 制限が利用量を上限化し、リクエスト単位のコスト配賦により各テナントは自分の支出だけを見られます。マルチテナント分離ガイドは docs.gatellm.io の usecases/multi-tenant-isolation を参照してください。

はい。GateLLM はゲートウェイ層で検索をハイジャックします。検索エンジン（serper、コンソール内でインラインテスト可能）を設定し、モデル単位の三状態トグル（ケイパビリティに従う / 強制オン / 強制オフ）で注入を制御します。結果はクライアントのプロトコルごとにネイティブな検索ブロック（Anthropic server_tool_use / OpenAI url_citation / Responses web_search_call）に合成され、オープンモデルにも検索グラウンディングが付きます。検索の失敗はリクエストをブロックせずグレースフルにデグラデーションし、ハイジャックした検索は利用量の課金対象外です。docs.gatellm.io の console/search を参照してください。

はい。ひとつのアップストリームに複数の API キーを重み付きで保持できます。決定論的な重み付きハッシュ（FNV-1a）が各呼び出し元を同じキーに固定し（キャッシュ親和性）、キーが失敗するとゲートウェイはそのアップストリーム内の未試行の次のキーでリトライします。weight=0 のキーは待機系で、weight>0 のすべてのキーが失敗した後にのみ使われます。紐付け状態はコンソールで行単位に確認できます。docs.gatellm.io の reference/upstreams-models-fields を参照してください。

はい。OpenAI 互換のエンドポイントならどれでもアップストリームとして使えます。カスタムの base URL を設定すれば、vLLM / Ollama / TGI のサービスもクラウドベンダーと同様にガバナンスできます。アウトバウンドプロキシ（socks5 / http）、カスタムリクエストヘッダー、アップストリーム単位の DNS はすべて設定可能で、プライベートネットワークや特殊なトポロジーに対応します。

YAML は不要です。GateLLM はビジュアルコンソールを備え、アップストリーム / モデル / ロードバランサー / アクセス制御 / MCP / 統計 / ログをすべて GUI で設定でき、中国語 / 英語を即時に切り替えられます。一括変更はステージング → プレビュー（名前空間の競合全件）→ アトミックなコミットで行い、競合があればバッチ全体をロールバックします。コンソールのアカウントは admin / monitor（読み取り専用）のロールがあり、すべての操作とログインが監査されます。

LiteLLM は優れたオープンソースの LLM プロキシです。GateLLM と LiteLLM はケイパビリティのベースライン（ルーティング、ツール呼び出し、構造化出力、キャッシュ、OIDC + SAML 2.0 + SCIM による SSO）を共有しています。GateLLM の差別化要因は、単一の Rust バイナリ、15 のプロトコル形状（4 大チャットプロトコルファミリーは任意対任意に翻訳し、それ以外は相互運用マトリクスに従う）、ゲートウェイ側のキャッシュ自動注入、YAML 不要のコンソールです。LiteLLM はエンタープライズエコシステム（シークレットマネージャー、サードパーティのガードレールコールバック、可観測性コールバック）で優れています。/compare/litellm を参照してください。

はい。VPC 内で完全にセルフホストし、BYOK キーはメモリ内だけに存在してディスクに残りません。エンタープライズ SSO（OIDC：Azure AD / Okta / 汎用、加えて SAML 2.0 と SCIM 2.0 の自動プロビジョニング）、エクスポート可能なリクエスト単位の監査ログ、GDPR 対応、SOC 2 Type II / ISO 27001 統制との整合（認証取得準備中）を提供します。/security を参照してください。

コンソール → 設定 → 請求で、そのモデルの手動価格スナップショットを作成します。固定（pinned）として黄色のバッジが付きます。固定価格は現在値となり、下にある自動のベースラインを覆います。システムの更新はそのモデルをスキップし、手動価格を上書きしません。削除すると次の自動行に戻り、自己修復します。

いいえ。価格スナップショットは created_at で順序付けられ、それぞれが [自身の時刻, 次の時刻) の期間だけをカバーします。最も古いものが履歴を補填し、最新のものが無期限に前方へ延びます。将来の有効時刻で新しいスナップショットを作成すれば値下げを事前予約でき、後の月だけに影響します。過去の価格を補填すれば過去の月を正確に原価計算できます。

アクセスキーに日次 / 月次のコストクォータ（USD 額）を設定します。UTC の暦日と暦月で判定する 2 つの独立したサイクルで、どちらかに達した瞬間に 429 quota_exceeded を返してサービスを停止します（日次ウィンドウには Retry-After が付きます）。クォータはキー → グループ → グローバルの順に継承され、グループのクォータはグループ内のキーごとの上限であり（共有台帳ではありません）、グループ間では最も広い値が採用されます。