# GateLLM — セルフホスト型エンタープライズ LLM ゲートウェイ > 同じワークロードでコストは 7 分の 1。信頼でき、コンプライアンスに適合したセルフホスト型 LLM ゲートウェイ（AI ゲートウェイ）が、トップティアのクローズドモデルとオープン SOTA モデルをオーケストレーションします。計画はフロンティアモデル、実行はオープン SOTA で。 正規 URL: https://www.gatellm.io/ja/ ## 最前線のモデルが計画し、オープン SOTA が実行する。コストは 7 分の 1。 トップティアのモデルが計画を担い、オープン SOTA モデルが定常業務の 90% を実行します。組み合わせによって請求額は約 1/7 に。数字はここで主張するのではなく、計算ツールでその場で算出されます。 ``` from openai import OpenAI # One line change: point your SDK at your own gateway client = OpenAI( base_url="https://your-gateway.gatellm.io/v1", api_key="your-gateway-api-key", ) # Existing code unchanged — the gateway routes each request # to the right model tier (planning vs execution) per your console policy resp = client.chat.completions.create( model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash... messages=[{"role": "user", "content": "Plan the architecture"}], ) ``` モデルを混在:Claude Opus が計画し、DeepSeek / Qwen が実行 — コストは約 1/7、最大 90% 削減 どのモデルを実行するかはゲートウェイが決める:クライアントの設定に関わらず、着地モデルは管理者が固定したもの — ingress の許可リスト + ワイルドカード「*」マッピング プロトコルは 1 つで十分:OpenAI か Anthropic で話せば、4 つのチャット系プロトコル(OpenAI / Anthropic / Gemini / DashScope)背後のモデルに届く — モデルを入れ替えてもコードは変わらない データはオンプレに残る:完全セルフホストでプロンプトが当社に届くことはない。リクエスト経路上で資格情報と PII を検出 — スコープごとにログ / マスク / ブロック ## 単一モデルではできない、ゲートウェイがやる 3 つのこと モデルを混在させてコストを削り、実際に走るモデルを強制し、クライアントコードを 1 つのプロトコルに保つ。 ### 最も高いモデルをどこでも動かす代わりに、モデルを混在させる フロンティアモデル(Claude Opus)が計画と推論を担い、オープン SOTA モデル(DeepSeek / Qwen / GLM)が定型実行を担います。既定の混在で請求は約 1/7、定型実行タスクでは能力の約 97% を維持します — 計算機でその場で算出される値で、ここで断定するものではありません。 - プランモードはリクエストごとに検出 — クライアント変更不要 - キーグループまたは ID で層を割り当て - モード別のコスト按分と予算上限 ### 実際に走るモデルはゲートウェイが決める 開発者がどのモデルを設定しても、リクエストは到着時に正規化されます。許可リストにない名前は 403、ワイルドカード「*」マッピングがそれ以外をすべて承認済みモデルに書き換えます。マッピングとルールはホットリロード — 開発者ごとのロールアウトは不要です。 - キーグループの許可リストが ingress でモデル名を制限 - ワイルドカードマッピングが着地モデルを固定 - すべてのリクエストが実際の着地モデルを記録(SW タグはスクリプト切替、MM は ID マッピング) ### クライアントは一度書けば、バックエンドは自由に交換 アプリは 1 つのプロトコル(OpenAI または Anthropic)で話します。ゲートウェイが 4 つのチャットプロトコル系(OpenAI / Anthropic / Gemini / DashScope)間を変換し、ストリーミングやツール呼び出しなどの能力差を正規化するので、ベンダーやモデルを追加してもビジネスコードには触れません。 - 4 つのチャットプロトコル系間で any-to-any - Anthropic 専用クライアント(Claude Code、claude-code-action)が他社モデルを実行可能 - 4 系に加え 15 の上流プロトコル形状を相互運用マトリクスで文書化 100+ の LLM プロバイダー · 30+ の SDK とフレームワークに対応 ## ご自身で確認できます 私たちは「信じてください」と求める代わりに、資料を公開しています。本ページのすべての主張には、お問い合わせの前に読んでいただける裏付けがあります。 ### [セキュリティとコンプライアンス](https://www.gatellm.io/ja/security.md) アーキテクチャ、キー管理、分離モデル。 ### [セキュリティ質問票](https://www.gatellm.io/trust.md) CAIQ / SIG / VSA への回答を記入済み。 ### [再処理者リスト](https://www.gatellm.io/subprocessors.md) お客様のデータに触れ得るすべての第三者。 ### [インシデント対応とサポート](https://www.gatellm.io/sla.md) 対応目標とサポートのコミットメント。 ## ひとつのインターフェースで、すべてのモデルを組み合わせる シンプルなモデルルーティングからマルチモデルのオーケストレーションまで、GateLLM はエンタープライズ水準の機能を網羅します。 ### マルチモデルルーティング ひとつのインターフェースですべてのモデルを呼び出せます。インテリジェントなフォールバック、負荷分散、自動リトライ。 - 100+ の LLM プロバイダーを統一 API で - インテリジェントなフォールバックルーティング - 負荷分散とレート制限 - アップストリームキープール：同一呼び出し元は 1 つのキーに固定され、失敗時は次のキーへフェイルオーバー - Ollama / vLLM / llama.cpp を openai-compatible なアップストリームとして接続し、ガバナンスはひとつの面に統合 ### Composition プランモード、ID、リクエスト形状による段階的ルーティング：計画はトップティアのモデル、実行はオープン SOTA。ゲートウェイがモデル名を書き換えるため、クライアントコードは一切変わりません。 - プランモード検出：計画はトップティア、実行はオープン SOTA へ。クライアント側の変更はゼロ - ID スコープのモデルマッピング：同じモデル名をキーグループごとに異なるアップストリームへ - switch-route ルール：画像付きリクエストや特殊なリクエストを適切なモデルへ振り分け - エージェント内ダウングレード：plan 固定 / 非 plan は自動ダウングレード ### マルチモデルコードレビュー 同じ PR に対して 2〜3 のモデルを並列で実行します。ゲートウェイがプロトコル相互運用とひとつのキーでの計測を提供し、ファンアウト、マージ、信頼度スコアリングはオープンソースのオーケストレーション Action が担います。 - ゲートウェイのプロトコル相互運用：Anthropic 以外のモデルも Anthropic 専用のレビューキューに参加可能 - 1 つのアクセスキーでファンアウト全体を計測・統制 - ファンアウト、[Consensus N/M] スコアリング、マージは gatellm-io/gatellm-code-review（オーケストレーション側）が担当 ### MCP ツールガバナンス 外部の MCP ツールサーバーをひとつの /mcp エンドポイントの背後に集約します。ツール単位の ACL、コンテキスト予算、呼び出し監査を提供。エージェントが使えるツールは、呼び出せるモデルと同じ権限面で管理されます。 - 複数の MCP サーバーをひとつの /mcp エンドポイントに集約 - キーグループごとのツール allow/deny とラベルフィルター - ツール一覧が増えたときの組み込み BM25 検索 - REST ブリッジ：簡略化した仕様から任意の REST API をゼロコードで MCP ツール化 - MCP の呼び出し / 違反 / セッションを完全監査 ### Web 検索の注入 すべてのモデルにウェブ検索を均一に付与します。ゲートウェイが検索結果を取得して注入し、クライアントのプロトコルごとにネイティブな検索ブロックを合成するため、オープンモデルでも検索グラウンディングが使えます。 - プロトコルごとのネイティブ検索ブロック（Anthropic / OpenAI / Responses） - モデル単位の三状態トグル、失敗時はグレースフルデグラデーション - ハイジャックした検索は利用量の課金対象外 ### コスト管理 予算管理、レート制限、チーム別コスト配賦、モードを意識したモデルポリシー。トークン料金への上乗せは一切なく、BYOK で自社キーを利用できます。 - プロジェクト / 機能ごとのコスト配賦 - ソフトな予算アラート - BYOK：プロバイダーへは標準料金を支払う - モードを意識したモデルポリシー（plan / execute を強制可能） ### ガバナンスと統合 クライアントのアクセス制御から CI/CD 連携まで、ゲートウェイの機能を開発・コラボレーションのワークフローへ拡張します。 - クライアントアクセス制御（User-Agent ポリシー） - 自社ゲートウェイ経由の GitHub Actions コードレビュー - 一括設定：ステージング → 競合の全件プレビュー → 単一トランザクションでアトミックにコミット ### Office / M365 アドイン Excel、Word、PowerPoint、Outlook の中で、自社のモデルゲートウェイをそのまま利用できます。セルフホスト型アドインで、データがネットワーク外に出ることはなく、pivot への依存もゼロです。 - Excel の財務モデリング / Word の契約レビュー / Outlook の受信箱 - Entra SSO + Purview ラベルによるゲーティング - 33 個のドメインスキルを同梱、有償アドオン ### 変換スクリプト サンドボックス化された JavaScript エンジン（QuickJS）が、ゲートウェイ上でリクエストとレスポンスの JSON を書き換えます。コンソールで編集すれば即時反映され、再デプロイもグルーコードも不要です。 - リクエスト前 / リクエスト後スロット + レスポンススロット：翻訳前のクライアント形式や翻訳後のアップストリーム形式を扱える - context.useModel() でルート全体（base_url、プロトコル、認証情報）をまとめて切り替え - 組み込みライブラリ：json_path / str_* / regex_* / array_* / encoding + hash / UUID + time - サンドボックス化（ネットワーク・ファイルシステムなし）、fail-open / fail-closed モード、コンソール内スクリプトテスター ## モデルの組み合わせ：単一モデルでは実現できない品質 Composition はゲートウェイにネイティブなパターンであり、マルチモデルコードレビューはゲートウェイが可能にするオーケストレーション側のパターンです。どちらもケイパビリティ正規化レイヤーの上に成り立っています。 ### Composition：モデルをまたぐ段階的ルーティング プランモード、ID、リクエスト形状によってルーティングします。計画はトップティアのモデルに留め、実行はオープン SOTA へ落とします。ゲートウェイがモデル名を書き換え、プロトコルを翻訳するため、クライアントコードは一切変わりません。 - プランモード検出：計画はトップティアへ、実行はオープン SOTA へ振り分け。クライアント側の変更はゼロ - ID スコープのモデルマッピング：同じモデル名をキーグループ / ヘッダーごとに異なるアップストリームへ - switch-route ルール：画像付きリクエストや特殊なリクエストを適切なモデルへ振り分け - グルーコード不要：プロトコル翻訳はゲートウェイが処理 - 強制可能なポリシー：管理者が plan / execute モードごとにモデル階層を固定し、すべてをトップティアで使うことを防ぐ ``` // before-slot transform script (JavaScript) — switch execution model by plan mode. // Mounted on the entry model in the console; runs before routing. function transform(body, context) { if (context.sourceProtocol !== "Anthropic") { return body; } const EXEC_MODEL = "qwen3.8-max"; // a model name configured in the gateway const PLAN = /plan mode is active/i; const EXIT = /exited plan mode/i; // take the last marker-bearing message: later marker wins const messages = body.messages || []; for (let i = messages.length - 1; i >= 0; i--) { const s = JSON.stringify(messages[i].content || ""); const inPlan = PLAN.test(s); const exited = EXIT.test(s); if (inPlan || exited) { // not in plan mode → switch execution to the cost-efficient model if (exited || !inPlan) context.useModel(EXEC_MODEL); return body; } } context.useModel(EXEC_MODEL); return body; } ``` ### マルチモデルコードレビュー（オーケストレーション側） ゲートウェイがパターンを可能にし、オーケストレーション層がそれを実行します。claude-code-action は Anthropic プロトコルしか話せませんが、ゲートウェイのプロトコル相互運用により、qwen3.8-max や kimi-k3 のような Anthropic 以外のモデルもレビューキューに参加できます。ゲートウェイのアクセスキー 1 つで、すべてのレビューモデルを統一的に計測します。 - [Consensus N/M] の信頼度注釈、マージ、重複排除は Action が生成 - 各レビューモデルは個別に課金され、ゲートウェイが統一的に集計 - PR の行数ゲートと過去コメントの圧縮は Action に組み込み済み ## 最初のトークンまで 3 ステップ。 単一モデルからマルチモデルのオーケストレーションへ、3 ステップで移行できます。ビジネスコードの書き換えは不要です。任意の SDK（OpenAI / Anthropic / Gemini / DashScope）が利用できます。 ### ゲートウェイをデプロイ Docker でワンクリック起動、または Kubernetes Helm でプライベート環境へデプロイ。 ### キーを設定 BYOK モード：既存のプロバイダー API キーを入力するだけ。データはオンプレミスに留まり、永続化されません。 ### エンドポイントを置き換え OpenAI SDK の base_url を GateLLM に向ければ、統一インターフェースですべてのモデルを呼び出せます。 ``` # Just one line change: point base_url to GateLLM from openai import OpenAI client = OpenAI( base_url="https://your-gateway.gatellm.io/v1", api_key="your-gatellm-api-key" ) # Existing code unchanged, call any model response = client.chat.completions.create( model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash... messages=[{"role": "user", "content": "Hello"}] ) ``` ## またはエージェントに任せる GateLLM ゲートウェイをインストールして設定してください。まずこのインストールガイドの生の Markdown を curl で取得し、最後まで読んでから、各ステップを順番に実行してください（ステップには依存関係があります。たとえばアクセスキーより先にキーグループが存在している必要があります。順番を飛ばさないでください）： curl -fsSL https://docs.gatellm.io/en/quickstart/docker-single-node.md エージェントにお客様が用意するのは 1 つだけです。アップストリームプロバイダーの API キーです。残りはエージェントが生成し、Console API 経由で（ブラウザを使わずに）すべて設定します。最初のリクエストが完了を返したら終了です。 ## または自分で実行する ```bash docker run -d \ --name gatellm \ -p 7890:7890 \ -e CONSOLE_PASSWORD=change-me-on-first-login \ -e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \ -e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \ -e STORAGE_MODE=sqlite \ -v gatellm-data:/var/lib/protoflux \ ghcr.io/gatellm-io/gatellm:latest ``` 実行前に 3 つのプレースホルダー値を置き換えてください。それぞれが何であり、そのままにしておくとなぜ危険なのかはガイドで説明しています。 ## 使い慣れた SDK をそのまま。変更は 1 行だけ。 両側で同じ 4 つのプロトコル。チャット、画像、音声、動画、リアルタイム音声、埋め込み、リランクにわたり、グルーコードなしで任意の組み合わせに変換できます。 ### すべてのモダリティ - チャット - 画像 - 音声 - 動画 - リアルタイム音声 - 埋め込み - リランク - ネイティブなイングレス：OpenAI / Anthropic / Gemini / DashScope の SDK がそのまま接続でき、base_url 以外の変更は不要 - ネイティブなエグレス：各プロバイダーへそのネイティブプロトコルでルーティングし、OpenAI の統一エンベロープへ再翻訳する方式ではありません - 任意の組み合わせへの変換：イングレス A → エグレス B へシームレスに変換（例：Anthropic SDK の呼び出しを DashScope ネイティブのモデルへルーティングし、DashScope プロトコルに変換） - すべてのモダリティ + 埋め込み / リランク：チャット / 画像 / 音声 / 動画 / リアルタイム音声に加え、埋め込みとリランクのプロトコルも統合 - 「OpenAI 互換」より広い対応：synthorai などは 3 つのイングレスプロトコルを 1 つの OpenAI 面に統合していますが、GateLLM は 4 つのイングレス + 4 つのエグレスを任意の組み合わせで提供します - より広いエグレスプロトコル面：4 大プロトコルファミリーに加え、合計 15 のアップストリームプロトコル形状（AWS Bedrock Converse / Invoke、Realtime、パススルーを含む）。Bedrock 上のエンタープライズモデルもセルフホストモデルも、ひとつのゲートウェイに接続できます - リアルタイム音声セッション（/v1/realtime、openai_realtime + dashscope_realtime）はターン単位で計測され、HTTP と同じ統計 / 課金 / ログのパイプラインに流れます ## 使い慣れた SDK でそのまま動きます 任意の SDK やフレームワークを 1 行でゲートウェイに向けられます。OpenAI、Anthropic、Gemini、DashScope はネイティブ接続、LangChain、LlamaIndex、CrewAI、Vercel AI SDK など 30+ は同じ base_url の差し替えで利用できます。 ### base_url をゲートウェイに向ける 既定値は https://your-gateway.gatellm.io です。/v1 を含むかどうかは SDK によって異なります（各例に正確な値を記載）。 ### ゲートウェイのアクセスキーに差し替える アップストリームの sk-… キーではありません。同じアクセスキーを、お使いの SDK が期待するヘッダーに載せます。 ### ゲートウェイのモデル名を使う コンソールで設定した名前です。ベンダー公式の名前ではありません。 ``` # base_url convention differs by SDK — match the one you're using from openai import OpenAI OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK: /v1 import anthropic anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK: root (appends /v1/messages) # Vercel AI SDK createAnthropic: baseURL ".../v1" (appends /messages) — the reverse # LangChain ChatOpenAI: base_url="https://your-gateway.gatellm.io/v1" ``` ### `Authorization: Bearer ` - SDK / フレームワーク: OpenAI · DashScope · 汎用 - Bearer プレフィックスは大文字小文字を区別しません ### `x-api-key: ` - SDK / フレームワーク: Anthropic SDK - Authorization も使用可能 ### `x-goog-api-key: ` - SDK / フレームワーク: Gemini SDK - Authorization も使用可能 ### ベンダー公式 SDK OpenAI / Anthropic / Google の SDK はネイティブ接続。変更は base_url のみです ### DashScope ネイティブ テキスト、画像、非同期動画、埋め込み、リランクをひとつのエンドポイントで ### 統合 SDK / ゲートウェイ Vercel AI SDK、LiteLLM、Portkey、Semantic Kernel、Spring AI ### オーケストレーションフレームワーク LangChain、LlamaIndex、CrewAI、AutoGen、DSPy、Haystack ### エージェント SDK OpenAI Agents、Claude Agent、Pydantic AI、ADK、Mastra ### リアルタイム / 音声 Realtime WebSocket 音声 + openai_audio ASR / TTS ### ローカル / セルフホスト Ollama、vLLM、llama.cpp をアップストリームとして利用。クライアント SDK はそのまま ### モデル名はゲートウェイの設定と一致させる必要があります ベンダー公式の名前でもアップストリームのモデル ID でもなく、コンソールで付けた名前です。名前が違うと 404 model_not_found になります。 ### base_url に /v1 を含むかは SDK によって異なります OpenAI SDK は /v1 を付けます。Anthropic SDK はルートを指定します（/v1/messages を自身で付加）。Vercel AI SDK の createAnthropic は /v1 を付けます（/messages を付加）。間違えるとパスのセグメントが余分に付いたり欠けたりします。 ### フィールドはプロトコルをまたいで翻訳・制約されます アップストリームが Responses プロトコルのモデルの場合、max_tokens が max_output_tokens に変換され、下限（例：16 以上）が付くことがあります。小さすぎると 400 になります。 ### thinking ブロックはゲートウェイがラップします Claude / Gemini の thinking コンテンツと署名はパススルーされるか除去されます。content 配列のうち type == "text" の要素を取得し、content[0] がテキストだと仮定しないでください。 ### OpenAI Agents SDK の既定は /v1/responses です Chat Completions ではなく Responses API を呼びます。アップストリームが openai（Chat）の場合は OpenAIChatCompletionsModel で明示的に切り替えてください。openai_response であれば文字列のモデル名でそのまま動きます。 ### LlamaIndex はモデル名を許可リストで検証します OpenAI クラスは認識できるファミリーしか受け付けず、ゲートウェイのカスタム名を拒否します。OpenAILike（Python）を使うか、モデル情報を明示的に宣言してください。 ### CrewAI は内部で LiteLLM により動作します base_url はフレームワークのパラメーターではなく OPENAI_API_BASE 環境変数で指定し、model には openai/ プレフィックスが必要です。 ### AutoGen は model_info の明示が必要です 未知のモデル名は既定の一覧でエラーになります。model_info を明示的に宣言してチェックを回避してください。 ### Google GenAI SDK はルートを指定します base_url は http_options.base_url で指定し（/v1 なし）、キーは x-goog-api-key ヘッダーに載せます。 ## 任意の AI コーディングエージェントをゲートウェイに向ける ``` # Every agent is one base_url + one access key away export ANTHROPIC_BASE_URL="https://your-gateway.gatellm.io" # Anthropic agents: root (no /v1) export ANTHROPIC_API_KEY="" export OPENAI_API_BASE="https://your-gateway.gatellm.io/v1" # OpenAI-compatible agents: /v1 export OPENAI_API_KEY="" # Codex CLI (~/.codex/config.toml) speaks the Responses protocol # [model_providers.gatellm] # base_url = "https://your-gateway.gatellm.io/v1" # wire_api = "responses" ``` ### ターミナルエージェント Claude Code、Codex CLI、Gemini CLI、OpenClaw、opencode、Crush、Droid、Goose、Aider、Qwen Code、OpenHands、Kimi Code、Plandex、SWE-agent、Grok Build、Mistral Vibe、MiMo Code、ForgeCode、Codebuff ### IDE / 拡張機能 Cline、Roo Code、Kilo Code、Continue、Zed、Cursor、Windsurf、GitHub Copilot（BYOK） ### マネージドプラットフォーム Warp（BYOK キーのみ）、Amazon Q Developer CLI、Devin。エンドポイントが固定、または上書き不可 ### ハーネスは独自のモデル ID を固定して送信します Claude Code は設定済みの既定モデル（例：claude-opus-5 や claude-sonnet-5）を送信し、ゲートウェイ側の名前では送りません。ゲートウェイのモデル名をハーネスが要求する名前と完全に一致させるか、モデル環境変数（例：ANTHROPIC_MODEL）をゲートウェイの名前に設定してください。不一致だと最初のメッセージで 404 model_not_found になります。 ### Anthropic プロトコルのハーネスは /v1 ではなくルートを指定します Anthropic 形式クライアントの base URL はゲートウェイのルート（/v1 なし）です。クライアント自身が /v1/messages を付加します。ここで /v1 を付けるとパスセグメントが二重になります。 ### Codex のカスタムプロバイダーには wire_api="responses" が必要です Codex CLI ではカスタムの [model_providers.*] ブロックに wire_api = "responses" が必須です。ゲートウェイは /v1/responses をネイティブに実装しているため、base_url をそこに向け、env_key にゲートウェイのアクセスキーを設定してください。 ### LiteLLM ベースのハーネスは openai/ モデルプレフィックスを要求します Aider、OpenHands、SWE-agent は LiteLLM 上に構築されています。OPENAI_API_BASE をゲートウェイに設定し、モデル名に openai/ プレフィックス（例：openai/gateway-model-name）を付けると、LiteLLM が OpenAI 互換エンドポイントとしてルーティングします。 ### 既定はサブスクリプションの OAuth で、お客様のキーではありません Codex、Gemini CLI、Qwen Code は既定でベンダーの OAuth / サブスクリプションログインを使います。ゲートウェイ経由にするには API キー認証へ切り替える（キーと base URL を明示的に設定する）必要があります。そうしないとエージェントはゲートウェイを完全に迂回します。 ### IDE はモデル ID からツール / ビジョン対応を推測します Cline / Roo / Kilo などはモデル名からツール呼び出しとビジョンの対応可否を判断します。ゲートウェイのカスタム名では関数呼び出しが無効になることがあります。ツール呼び出しが失敗する場合は、クライアントのケイパビリティ検出ルールを確認するか、既知のファミリー名に合わせてモデルを命名してください。 ### 長時間の推論では :keep-alive と _gateway_warning が付与されます アップストリームの推論が長引くと、ゲートウェイは SSE の :keep-alive コメント行を出力します（無害です。: で始まる行はスキップしてください）。ストリームが途中で切れた場合はエラーにせず _gateway_warning フィールドを挿入するため、Claude Code のようなハーネスが会話全体を中断しません。 ### Claude Code の auto モード：安全判定に誰が答えるかを決めます auto モードでは、Claude Code は潜在的に危険な操作の前にサーバー側の判定（リクエスト内の safeguards フィールド）を待ちます。アップストリームが Anthropic 公式の場合、判定は同じリクエスト内で生成され、ゲートウェイはそれをそのまま通します。このフィールドを無視する第三者アップストリームの場合、代わりにゲートウェイが判定を返します。出荷時の既定（allow_all）はあらゆる操作を許可するため、呼び出しをそのまま通すより緩くなります。そのアップストリームの extra_config に "anthropic_server_safeguards": "upstream" と書けば、ルートをアップストリーム側に戻せます。コンソールの設定は管理者のみが変更できます。 ## ケイパビリティ正規化：ベンダーをまたぐ組み合わせを可能にする クロスベンダーでのモデル混在は、7 つの結合点を統一するケイパビリティ正規化レイヤーに支えられています。モデルを切り替えてもグルーコードを書き直す必要はありません。 ### ツール呼び出しの正規化 OpenAI / Anthropic / Gemini / 中国系モデルではツール呼び出しのスキーマがすべて異なります。基盤で統一するため、コードは一度書けばすべてのモデルを呼び出せます。 ### 構造化出力の互換性 各プロバイダーは異なるプロトコル（厳格な JSON Schema、json_mode、tool_use）を使います。一貫したインターフェースに統合します。 ### プロンプトキャッシュの統一 Anthropic の cache_control、OpenAI の自動キャッシュ、Gemini のコンテキストは仕組みが異なります。統一されたキャッシュ戦略を提供します。 ### 推論トークンの適応 o1 / Claude thinking / DeepSeek R1 の出力形式は異なります。各プロバイダーの推論トークンプロトコルに適応します。 ### マルチモーダル形式のサポート vision / audio / ファイルアップロードのプロトコルはプロバイダーごとに異なります。マルチモーダル入力の形式を統一します。 ### 課金モデルの抽象化 各プロバイダーの料金体系は異なります。統一されたコスト追跡インターフェースへ抽象化します。 ### エラーセマンティクスの正規化 ベンダーごとにエラーコードとボディが異なります。統一されたエラーボディに正規化し、z-request-id でリクエストをエンドツーエンドで相関できます。 ### データフロー：オンプレミスに留まり、永続化されない BYOK モードでは、API キーはゲートウェイのメモリ内だけに保存され、永続化も送信もされません。リクエストはゲートウェイからプロバイダー公式 API へ直接ルーティングされ、データがプライベートネットワークの外に出ることはありません。 SOC 2 統制は整合 ISO 27001 管理策は整合 GDPR ## なぜコストが約 1/7 になるのか 1 日 10 億トークンを処理する企業を例に考えます。同じワークロードで「すべてをトップティアで処理した場合」と「トップティアが計画し、オープンモデルが実行する場合」の請求額を比較します。 ## 削減効果の 3 つの源泉： - BYOK でトークンへの上乗せなし。プロバイダーへ標準料金を支払い、GateLLM は中間マージンを取りません（アグリゲーターは通常、定価にプラットフォーム料と決済手数料を上乗せします）。 - Composition。オープン SOTA モデル（GLM / Qwen / DeepSeek）が実行の大部分（分類、抽出、翻訳）を担い、トップティアのクローズドモデル（Claude Opus など）は計画と難易度の高い推論だけに使います。 - プロンプトキャッシュ。高頻度の呼び出しはキャッシュにヒットし、単価が 50%〜90% 下がります。 数値は公開価格に基づく説明用のモデルであり、実際の削減額は業務シナリオと組み合わせ比率によって異なります。Pro ライセンス料（月額 $400、2GB 単一インスタンス）は GateLLM の料金に含まれます。 ## 見える利用量、精算できるコスト、守れる予算 Token Ops は誰が何を使っているかを追跡し、Token FinOps はトークンを課金可能で上限のある金額に変えます。ひとつのコントロールプレーンで、AI 支出をクラウド支出と同じように運用できます。 ### 利用量とコストの可観測性 すべての呼び出しをモデル、アクセスキー、キーグループ別に分解し、入力 / 出力 / キャッシュヒットのトークンを 1 分単位で個別に計測します。 - モデル / キー / キーグループ別に集計 - 入力・出力・キャッシュヒットを個別に計測 - 24 時間 / 7 日 / 30 日 / 任意期間の時系列 ### クライアントの受け入れと監査証跡 承認済みのクライアントだけがゲートウェイに到達できます。User-Agent によって許可・スロットル・拒否を制御します。すべての呼び出しは監査可能な記録として残り、エンドポイントのガバナンスとコンプライアンスの証跡になります。 - クライアントアクセス制御（User-Agent ポリシー） - ログ保持付きの呼び出し記録（Pro 以上） - 監査 / DLP 連携（Enterprise） ### Management API（プログラムによる制御） API 経由でゲートウェイを管理できます。API キーの作成 / 失効、クォータと予算の設定、利用量とコストの照会、監査ログのエクスポートを行い、社内の運用・請求システムに組み込めます。 - API による API キーの作成 / 失効 - API によるクォータと予算の設定 - 利用量とコストの照会 API - 監査ログのエクスポート ### 自社レートカードと価格スナップショット 交渉した非公開価格を手入力すると、それが正となります。システムの更新で上書きされることはありません。各価格には有効期間があり、値下げを事前に予約でき、編集しても過去のコストは書き換わりません。 - 固定した非公開価格が自動価格を覆い、上書きされない - スナップショットは期間に応じて有効化 - 履歴の補填 / 値下げの事前予約 - トークン · 呼び出し単位 · 秒単位の課金モード ### タグによる配賦とチャージバック キーとキーグループにタグを付け、タグ別に利用量とコストを集計して、トークン支出を正しいコストセンターに着地させます。Excel エクスポートはモデル × キーで台帳を分割し、社内のショーバックやチャージバックに使えます。 - キー / キーグループへの自由なタグ付け - タグ別の利用量・コスト集計 - 6 シートの Excel エクスポート（キー × モデルを含む） - 社内ショーバック / チャージバックに対応 ### コストクォータと上限 キーごとに日次・月次の支出上限を設定できます。UTC の暦日と暦月で独立に判定し、どちらかに達した瞬間にブロックします。クォータはキー → グループ → グローバルの順に継承され、グループ間では最も広い値が採用されます。 - 日次 / 月次の上限を独立に判定 - キー → グループ → グローバルの継承 - 429 quota_exceeded、日次では Retry-After を返却 ## GateLLM と LiteLLM 出典で検証済みの比較です。LiteLLM にはない仕組みを GateLLM だけが搭載しており、両者は確立されたベースラインを共有し、いくつかの点は性質が異なります。宣伝ノイズではなく、上下 2 つの層で判断してください。 ### GateLLM だけが提供するもの LiteLLM にはない仕組みです。各機能の下に「どう実現するか」を 1 行で示します。 | 機能 | GateLLM | LiteLLM | | --- | --- | --- | | 条件付きモデル切り替え | ✓ | ✗ | | プロトコルをまたぐモデル / SDK の混在 | ✓ | ✗ | | 単一トランザクションでの設定コミット | ✓ | ✗ | | コストクォータによる強制ゲート | ✓ | ✗ | | クラッシュセーフな課金 | ✓ | ✗ | | アップストリームキーのプールとスティッキーな紐付け | ✓ | ✗ | | 3 つの課金モード + 多通貨 | ✓ | ✗ | | アップストリームの SSO 認証ログイン | ✓ | ✗ | | ケイパビリティメタデータレジストリ | ✓ | ✗ | | LTS リリースブランチ | ✓ | ✗ | - **条件付きモデル切り替え**: 宣言的な switch-route ルール + 組み込みのプランモード検出 + context.useModel() スクリプトで、クライアント側の変更はゼロ。LiteLLM では独自の Python コールバックが必要です。 - **プロトコルをまたぐモデル / SDK の混在**: ネイティブな任意対任意のエントリポイント。Anthropic SDK から GPT を、Gemini SDK から DeepSeek を呼び出せます。LiteLLM は OpenAI 中心で、逆方向はシムを経由します。 - **単一トランザクションでの設定コミット**: ステージング → 競合の全件プレビュー → アトミックなコミット。競合が 1 つでもあればバッチ全体がロールバックします。 - **コストクォータによる強制ゲート**: 日次 / 月次のサイクルで、支出が上限に達した瞬間に 429 quota_exceeded を返します。LiteLLM は予算アラートを送るだけです。 - **クラッシュセーフな課金**: 事前差し引き → 精算 → 返金を進行中台帳で管理し、プロセスクラッシュをまたいでも正しく保たれます。 - **アップストリームキーのプールとスティッキーな紐付け**: 重み付き FNV-1a ハッシュで各呼び出し元を 1 つのキーに固定し、失敗時は未試行の次のキーへフェイルオーバーします。weight=0 は待機系です。 - **3 つの課金モード + 多通貨**: トークン / 呼び出し単位 / 時間単位、USD/CNY/EUR/JPY/GBP、カスタム次元に対応。LiteLLM はトークンベースの追跡のみです。 - **アップストリームの SSO 認証ログイン**: 静的キーを持たないベンダー（例：Kiro）をオンボーディングできます。LiteLLM は静的 API キーのみです。 - **ケイパビリティメタデータレジストリ**: 自動注入とデグラデーションを駆動し、新モデルのケイパビリティ変化にコード変更なしで追従します。 - **LTS リリースブランチ**: N-1 + LTS ブランチ（/lifecycle を参照）。LiteLLM は直近 4 つのマイナー系列のみをサポートします。 ### 両者が得意とするもの 確立されたベースラインです。どちらのゲートウェイでもこの層はカバーできます。判断は上下の層で行います。 | 機能 | GateLLM | LiteLLM | | --- | --- | --- | | API ルーティング · フォールバック · 負荷分散 | ✓ | ✓ | | BYOK、トークンへの上乗せなし | ✓ | ✓ | | 完全セルフホスト、データはオンプレミスに留まる | ✓ | ✓ | | クロスベンダーのツール呼び出し正規化 | ✓ | ✓ | | 構造化出力（JSON Schema）の正規化 | ✓ | ✓ | | 推論 / thinking トークンの適応 | ✓ | ✓ | | モデルをまたぐプロンプトキャッシュ | ✓ | ✓ | | Web 検索の注入 | ✓ | ✓ | | MCP ゲートウェイ（ツール集約） | ✓ | ✓ | | 設定用のビジュアルコンソール | ✓ | ✓ | | 監査ログと利用量 / コストの計測 | ✓ | ✓ | ### 性質が異なるもの 優劣ではなく、仕組みとパッケージングの違いです。直接比較して判断してください。 | 機能 | GateLLM | LiteLLM | | --- | --- | --- | | ランタイム | 単一の Rust バイナリ · GC ポーズなし | Python プロセス + 依存スタック | | プロトコル翻訳の範囲 | 15 のプロトコル形状。4 大チャットプロトコルファミリー（OpenAI / Anthropic / Gemini / DashScope）は任意対任意に翻訳し、それ以外は相互運用マトリクスに従う | OpenAI 中心のエンベロープ + 互換エンドポイント | | ネイティブプロトコルのエントリポイント | /v1/messages + count_tokens、Gemini generateContent、/v1beta/cachedContents CRUD、/v1/realtime、/mcp。ひとつのゲートウェイがすべての SDK にネイティブ対応 | OpenAI 互換エンドポイント（互換バリアントを含む） | | プロンプトキャッシュの深さ | OpenAI プロトコルの呼び出しにキャッシュブレークポイントを自動注入 + プロトコル間マッピング + Google cachedContent の重複排除 | cache_control をパススルーし、利用量を正規化 | | ログのプライバシー既定値 | リクエストログは既定でオフ · 保存されたログ本文はすべての出力面で秘匿化 · 生データの表示は管理者のみで監査対象 · 既定の保持期間は 7 日 | リクエスト / レスポンスのログはオン。秘匿化はガードレール経由 | | 設定方法 | すべてコンソールで完結。YAML 不要、変更は即時反映 | config.yaml 中心 | | エンタープライズ SSO と SCIM のパッケージング | OIDC + SAML 2.0 + SCIM をインスタンス単位の定額ライセンスに同梱、シート課金なし | OSS では SSO が 5 ユーザーまで。SCIM には従量課金の Enterprise ティアが必要 | | ライセンス | インスタンス / メモリ単位の定額。シートなし、トークンへの上乗せなし | OSS は無料。Enterprise は従量課金 | | サポート SLA | 優先サポートを定額ライセンスに含む | Standard ティアには応答時間のコミットメントなし。24/7 SLA は有償アドオン（Sev0 1 時間 / Sev1 6 時間） | | エンドポイントの範囲 | チャット / リアルタイム / MCP のコアエンドポイント | /batches、/files、/fine_tuning、/vector_stores、/videos、/containers も提供 | | サードパーティのエコシステム | 組み込みのログ / Prometheus / OTel。標準プロトコルで出力し、単一ベンダーへのロックインなし。シークレット / PII 検出はゲートウェイに内蔵され、サードパーティエンジン不要 | AWS KMS / Vault / CyberArk のシークレットマネージャー。Presidio の PII ガードレール。Langfuse / Langsmith / Arize の可観測性 | 2026-09-04 時点で各製品の公式ドキュメント（docs.litellm.ai / docs.gatellm.io）に基づき検証済みです。LiteLLM の一部機能には Enterprise ライセンスが必要です。詳細は変わり得るため、調達前に出典を確認してください。 ## シークレットと PII は入口で検出されます。その後の扱いはお客様が決めます。 決定論的なルールエンジンが、すべてのモデルリクエストを認証情報の形式と PII について検査し、シークレット自体を記録せずに検出結果を記録します。組み込みルールは無効かつ observe モードで出荷され、お客様が有効化し、スコープごとに log、mask、block を選べます。検出経路にモデルは介在しません。 ### 決定論的検出、経路にモデルなし 構造上、決定論的です。まずリテラル照合、次にコンテキスト語を要求する正規表現ルール、最後にチェックサム検証（カード番号の Luhn、IBAN の mod-97、各国 ID のチェックサム、PEM / OpenSSH 秘密鍵ブロック、IPv4）を適用します。 - 認証情報の形式：モデルプロバイダーの API キー、クラウドのアクセスキー、GitHub / GitLab トークン、JWT、PEM / OpenSSH 秘密鍵、Slack トークン - PII の種類：中国本土の携帯番号、住民 ID、銀行カード番号、IBAN、メールアドレス、IPv4 アドレス - マルチターンの会話では新規部分だけを走査します。カーソルハッシュチェーンにより、長いセッションでも既に検査済みのテキストを再走査しません ### クライアント側で復元できるマスキング、何も漏らさないブロック mask では、アップストリームのモデルは番号付きプレースホルダーを受け取り、クライアントには実際の値が復元されて返ります。ストリーミング中も SSE フレームごとに復元します。block では、拒否応答にルールのカテゴリとリクエスト ID が含まれ、一致したテキストは決して含まれません。 - アップストリームはプレースホルダーを見て、データの所有者には自分の値が返る - 長い貼り付けも例外ではありません。巨大な文字列はディスクに退避し、固定サイズのウィンドウで走査するため、ペイロードの大きさにかかわらずメモリ使用量は一定です - 許可リストは値で照合し、パスでは照合しません。テストキーを承認しても、フィールド全体が黙って除外されることはありません ### ログ本文：受信したまま保存し、すべての出口で秘匿化 リクエストログの永続化は出荷イメージでは無効です。有効にすると本文は受信したまま保存され、すべての出力面で秘匿化されます。Console API は既定で秘匿化し、SSE とターミナル出力は常に秘匿化され、秘匿化に失敗した場合は応答を漏らすのではなく閉じます。 - 生の内容の表示は明示的な操作です。管理者ロールと明示的な表示フラグが必要で、監査され、回数も記録されます - 秘匿化の対象は、機密性の高い本文キー、クエリ / URL パラメーター、静的およびカスタムの認証スキームヘッダー、部分表示付きのベアラートークン値です - 検出結果には、前後の文脈を限定したマスク済みスニペットが残り、一致したテキストは残りません。検出結果はログの保持期間を共有し、既定は 7 日です 意図的に既定でオフ 組み込みルールパックは無効で出荷され、組み込みルールのアクションはすべて log です。これは隙間ではなく安全な段階的導入です。実際のトラフィックで何が起きるはずだったかを確認し、自社の誤検知に合わせて許可リストを調整してから、必要な箇所で mask や block を有効にしてください。ポリシーはグローバル、アクセスキーグループ単位、アクセスキー単位にスコープでき、ルールはホットリロードされます。 #### log 観測します。検出結果はマスク済みスニペットとともにコンソールに届き、リクエスト自体は変更されません。 #### mask 可逆的に強制します。アップストリームはプレースホルダーを見て、クライアントには実際の値が返ります。 #### block 拒否します。リクエストはルールのカテゴリとリクエスト ID 付きで拒否され、一致したテキストは返りません。 ### できること、できないこと #### できること - お客様自身のゲートウェイプロセス内、モデルリクエストの経路上で動作し、グローバル / アクセスキーグループ単位 / アクセスキー単位にスコープできます - 専用のコンソールページ：管理者とモニターロール向けの検出結果ビュー、管理者向けのルールビュー、メモリ予算の事前チェック付きのオン / オフスイッチ、ホットリロード、監査エントリ - ドライラン用のプレビューエンドポイントがあり、ルールを有効化する前にサンプルで試せます - すべての検出結果は、ルール名、カテゴリ、重要度、実行されたアクション、一致件数、モデル、アクセスキー名まで追跡できます #### できないこと - レスポンス内容の検出はありません。レスポンス側はプレースホルダーを復元するだけです - ML は使いません。脱獄やプロンプトインジェクションの検出、モデレーション API もありません。ルールは決定論的です - オフラインの再監査はありません。リクエスト時に走査されなかった内容が後から走査されることはありません - DLP スイートではありません。エンドポイント、メール、その他の出力チャネルはカバーしません - パスポート、SSN、氏名、住所の検出器はなく、既知の残存ギャップも文書化されています。base64 エンコードされたメディアは対象外で、2 つのストリームフレームに分割されたプレースホルダーはそのまま通過します ## 実際に得られるもの。 調達で重視される 3 点を、価格の前に整理します。法務が署名できる DPA、暴走しない請求、そして当社に届くことのないプロンプトです。 ### 法務チームが署名できる DPA GDPR と CCPA に対応し、法務チームが実際に署名できる DPA を用意しています。セルフホストでデータが境界の外に出ることはなく、エンタープライズ SSO（OIDC / SAML 2.0）と SCIM 2.0 プロビジョニングも含まれます。 - GDPR - CCPA - DPA - SSO - SCIM - 監査証跡 ### 暴走しない請求 BYOK：プロバイダーへ標準料金を支払い、トークンへの上乗せもシート課金もありません。キーとプロジェクト単位のハードなクォータ上限により、暴走したスクリプトが予算を超えることを防ぎます。 - トークンへの上乗せなし - シート課金 0 - プロンプトキャッシュ - ハードなクォータ上限 - 30 日返金 ### プロンプトが当社に届くことはありません 完全セルフホストのため、プロンプトと補完が当社のシステムに入ることはありません。BYOK のキーはゲートウェイのメモリ内だけに存在し、リクエストはプロバイダー API へ直接向かい、ネットワークの外に出ません。 - データはオンプレミスに留まる - キーは永続化しない - TLS 1.3 - クライアントの受け入れ - モデルは自分で選択 ## 完全セルフホスト · 単一インスタンス 2GB · トークン料金への上乗せは一切なし BYOK（Bring Your Own Keys）で、プロバイダーへは標準料金を支払います。当社は 2GB の単一インスタンスをライセンスし、シート課金やトークンへの上乗せは行いません。より大きなメモリや複数インスタンスは Enterprise でご相談ください。 コアは Rust で構築されています。ゲートウェイの転送層では、メモリ 1GB あたり毎分約 1 億トークン（TPM）と毎分約 500 リクエスト（RPM）を処理でき、一般的なユーザー約 100 人を余裕を持って支えられます。これらは参考値です。実際のスループットは各プロバイダーのレート制限とリクエストの複雑さに左右され、SLA のコミットメントではありません。 すべてのプランに含まれるもの：トークンへの上乗せゼロの BYOK · 100+ プロバイダーへのルーティング · クライアントアクセス制御 · プロンプトキャッシュ · コストクォータ ### Free $0 完全セルフホスト · 単一ライセンス 512MB の単一インスタンスでログ保持なし。評価や PoC 向けで、本番トラフィックには適しません。 - 100+ LLM のルーティング · フォールバック · 負荷分散 - クロスベンダーのモデル混在 · エージェント内ダウングレード（plan 固定 / 非 plan は自動ダウングレード） - クライアントアクセス制御（User-Agent ポリシー） - プロンプトキャッシュ - BYOK（自社キーを持ち込み、上乗せなし） - メモリ上限 512MB · SQLite · 単一インスタンス - 自社ゲートウェイ経由の GitHub Actions コードレビュー - ログ保持なし ### Pro $400 固定の 2GB 上限でアドオンなし。マルチノード、コンプライアンス（監査 / DLP）、Management API が必要な場合は Enterprise をご利用ください。 - Free のすべての機能 - メモリ 2GB · 単一インスタンス（固定上限、アドオンなし） - ログ保持 - エンタープライズ SSO（OIDC：Azure AD / Okta / 汎用、加えて SAML 2.0 + SCIM） - PostgreSQL · メモリ 2GB - メール / チケットサポート ご満足いただけない場合は 30 日以内に全額返金 ### Enterprise $400/GB から メモリ容量ベース · 年額請求 · 30 日返金 - Pro のすべての機能 - 容量ベースの課金（ノード数 × メモリ、月額 $400/GB の定額） - マルチノード / クラスタデプロイ - 自社ゲートウェイ経由の GitHub Actions コードレビュー - Microsoft 365 アドイン（Excel / Word / PPT / Outlook、有償アドオン） - 拡張ログ保持 - 優先サポート対応 - コンプライアンス（監査 / DLP） - Management API（プログラムによる API キー · クォータ · 利用量照会 · 監査エクスポート） より大きな容量やカスタム構成が必要ですか？ ## 機能比較 | 機能 | Free | Pro | Enterprise | | --- | --- | --- | --- | | マルチモデルルーティング · フォールバック · 負荷分散 | ✓ | ✓ | ✓ | | クロスベンダーのモデル混在（ベンダーごとに計画 / 実行） | ✓ | ✓ | ✓ | | エージェント内モデルダウングレード（plan 固定 / 非 plan は自動ダウングレード） | ✓ | ✓ | ✓ | | プロンプトキャッシュ | ✓ | ✓ | ✓ | | BYOK（自社キーを持ち込み、上乗せなし） | ✓ | ✓ | ✓ | | メモリ階層 | 512MB | 2GB（固定） | カスタム | | ストレージ / データベース | SQLite（単一インスタンス） | PostgreSQL · 2GB | PostgreSQL + Redis Cluster | | デプロイ規模 | 1 インスタンス | 1 インスタンス · 2GB | マルチノード / クラスタ | | GB あたりのスループット（参考） | — | 2GB ≈ 200M TPM / 1,000 RPM | 1GB あたり ≈ 100M TPM / 500 RPM | | ログ保持 | なし | 保持あり | 拡張保持 | | SSO（OIDC / SAML 2.0） | — | ✓ | ✓ | | SCIM 2.0 自動プロビジョニング | — | ✓ | ✓ | | コンプライアンス（監査 / DLP） | — | — | ✓ | | Management API（プログラムによるキー · クォータ · 利用量 · 監査） | — | — | ✓ | | 自社レートカード / 価格スナップショット（非公開価格を含む） | ✓ | ✓ | ✓ | | コストクォータ（日次 / 月次、3 階層継承） | ✓ | ✓ | ✓ | | サポート対応 | コミュニティ | メール / チケット | 優先対応 | | モードを意識したモデルポリシー（plan / execute、強制可能） | ✓ | ✓ | ✓ | | クライアントアクセス制御（User-Agent ポリシー） | ✓ | ✓ | ✓ | | GitHub Actions コードレビュー（自社ゲートウェイ経由） | ✓ | ✓ | ✓ | | Microsoft 365 アドイン（Excel / Word / PPT / Outlook、セルフホスト） | — | アドオン | アドオン | | Purview 秘密度ラベルによるゲーティング（addin.access / file.upload） | — | — | ✓ | ## FAQ ### AI ゲートウェイはどれくらいのレイテンシーを追加しますか？ SaaS ゲートウェイは自社ネットワークの外へ余分なホップを追加します。GateLLM は VPC 内でセルフホストされ、ベンダー API への追加ホップはローカルなプロセス間通信です。オーバーヘッドは 1 ミリ秒未満で、ストリーミングの最初のトークンまでの時間への影響は無視できます。 ### プロバイダーが障害を起こしたりレート制限に達したりするとどうなりますか？ 単一プロバイダーへの直接接続は単一障害点です。GateLLM はクロスプロバイダーのフォールバックに対応し、プライマリが 5xx を返すかタイムアウトすると、コード変更なしでバックアッププロバイダーへトラフィックを移します。またアップストリームごとに複数のキーをプールし、決定論的ハッシュで各呼び出し元を 1 つのキーに固定し、キーが失敗すると未試行の次のキーでリトライします。 ### ゲートウェイは本当に必要ですか？ 正直な基準をお伝えします。単一プロバイダー、単一チーム、コンプライアンス上の制約なし、月額支出が管理可能であれば、API を直接呼び出すだけでよく、ゲートウェイは不要です。マルチプロバイダーのフェイルオーバー、チーム別のコスト配賦、コンプライアンス / データレジデンシー、暴走支出のリアルタイム可視化が必要になったときに、ゲートウェイは元を取ります。 ### BYOK モードで GateLLM はどうやって収益を得ていますか？ メモリ 2GB の単一インスタンスをライセンスします（Pro は月額 $400、年額は 20% オフで年 $3,840）。トークンへの上乗せもシート課金もありません。プロバイダーへは標準料金を支払い、GateLLM は中間マージンを取りません。 ### API キーやデータがネットワーク外に出ることはありますか？ いいえ。BYOK モードでは、API キーはゲートウェイのメモリ内だけに保存され、永続化も送信もされません。リクエストはゲートウェイからプロバイダー公式 API へ直接ルーティングされ、データがプライベートネットワークの外に出ることはありません。 ### ゲートウェイが本当のモデルを提供しており、より安い代替ではないとどう確認できますか？ SaaS アグリゲーターでは、その言葉を信じるしかありません。GateLLM は BYOK かつセルフホストです。自社のキーを使い、リクエストは自社ゲートウェイからベンダー API のエンドポイントへ直接向かいます。モデルの ID はベンダー API 自体が保証し、間に差し替え可能なホップはありません。 ## マルチモデルの AI アプリ構築を始めましょう 完全セルフホスト · 単一インスタンス 2GB · トークン料金への上乗せは一切なし。 ## 関連ページ - [料金](https://www.gatellm.io/ja/pricing.md) - [コスト計算ツール](https://www.gatellm.io/ja/calculator.md) - [会社概要](https://www.gatellm.io/ja/about.md) - [デモを予約](https://www.gatellm.io/ja/demo.md) - [FAQ](https://www.gatellm.io/ja/faq.md) - [AI ゲートウェイ比較](https://www.gatellm.io/ja/compare.md) - [LiteLLM 比較](https://www.gatellm.io/ja/compare/litellm.md) - [OpenRouter 比較](https://www.gatellm.io/ja/compare/openrouter.md) - [Alibaba Cloud AI Gateway 比較](https://www.gatellm.io/ja/compare/alibaba-cloud.md) - [Azure API Management 比較](https://www.gatellm.io/ja/compare/azure-apim.md) - [Apigee 比較](https://www.gatellm.io/ja/compare/apigee.md) - [Cloudflare AI Gateway 比較](https://www.gatellm.io/ja/compare/cloudflare.md) - [Kong AI Gateway 比較](https://www.gatellm.io/ja/compare/kong.md) - [Portkey 比較](https://www.gatellm.io/ja/compare/portkey.md) - [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/ja/compare/litellm-vs-kong.md) - [LiteLLM vs OpenRouter](https://www.gatellm.io/ja/compare/litellm-vs-openrouter.md) - [LiteLLM vs Portkey](https://www.gatellm.io/ja/compare/litellm-vs-portkey.md) - [ユースケース](https://www.gatellm.io/ja/use-cases.md) - [LLM コスト削減](https://www.gatellm.io/ja/use-cases/reduce-cost.md) - [高可用性](https://www.gatellm.io/ja/use-cases/high-availability.md) - [マルチテナント分離](https://www.gatellm.io/ja/use-cases/multi-tenant.md) - [コンプライアンスと監査](https://www.gatellm.io/ja/use-cases/compliance-audit.md) - [症状別トラブルシューティング](https://www.gatellm.io/ja/use-cases/troubleshooting.md) - [マルチベンダー混合モデル構成](https://www.gatellm.io/ja/use-cases/mixed-model-stack.md) - [Office 内での AI セルフホスト](https://www.gatellm.io/ja/use-cases/self-hosted-office-ai.md) - [Token 使用量の可視化と帰属](https://www.gatellm.io/ja/use-cases/token-ops.md) - [Token FinOps：AI コストの配賦と統制](https://www.gatellm.io/ja/use-cases/token-finops.md) - [MCP ツールガバナンス](https://www.gatellm.io/ja/use-cases/mcp-tool-governance.md) - [すべてのモデルに Web 検索を追加](https://www.gatellm.io/ja/use-cases/web-search-grounding.md) - [マルチキーのローテーションと待機系](https://www.gatellm.io/ja/use-cases/multi-key-pooling.md) - [接続クライアントの受付制御](https://www.gatellm.io/ja/use-cases/client-admission-control.md) - [モデル利用ポリシーの強制](https://www.gatellm.io/ja/use-cases/enforce-model-policy.md) - [クライアントにモデル選択を公開しない](https://www.gatellm.io/ja/use-cases/automatic-model-tiering.md) - [1 つのプロトコルで、あらゆるモデル](https://www.gatellm.io/ja/use-cases/one-protocol-any-model.md) - [Office / Microsoft 365 アドイン](https://www.gatellm.io/ja/office-addin.md) - [用語集](https://www.gatellm.io/ja/glossary.md) - [モデルカタログ](https://www.gatellm.io/ja/models.md) - [SDK・フレームワーク連携](https://www.gatellm.io/ja/integrations.md) - [AI コーディングエージェントとハーネス](https://www.gatellm.io/ja/coding-agents.md) - [セキュリティとコンプライアンス](https://www.gatellm.io/ja/security.md)