用語集

7 つのクロスベンダー結合点（ツール呼び出し、構造化出力、プロンプトキャッシュ、推論トークン、マルチモーダル、課金、エラーセマンティクス）をひとつのインターフェースの背後に統一します。ベンダーをまたいでモデルを混在させるための前提であり、これがなければ各モデルが独自の呼び出し規約を持ち、切り替えのたびにグルーコードが必要になります。

ゲートウェイ上でリクエストの異なるフェーズを異なるモデルへルーティングすることです。ID スコープのモデルマッピングとプランモード切り替えを組み合わせます。代表的なパターンは、トップティアのクローズドモデル（例：Claude Opus）が計画し、オープン SOTA モデル（GLM / Qwen / DeepSeek）が実行する形で、約 14% のコストで約 97% の能力を得ます。コンソール（ルール + スクリプト）で設定し、クライアントコードの変更はゼロです。

オーケストレーション層のパターンで、同じプロンプトを複数のモデルに並列で通し、結果をマージします。ファンアウト、重複排除、信頼度の注釈はお客様のオーケストレーション層（例：GitHub Actions）にあり、ゲートウェイはプロトコル相互運用と統一計測を提供するため、任意のモデルが参加でき、すべてのトラフィックが集中的に統制されます。コードレビューのような重要な呼び出しに適しています。このパターンの提供形態がマルチモデルコードレビューです（オーケストレーションの節を参照）。

LLM API の利用側の運用レイヤーで、可観測性、クライアントの受け入れ、監査証跡、プログラムによる管理を担います。「誰が何をどれだけ使い、入れるか」に答えるのが Token Ops で、対になる Token FinOps は「トークンがどうお金になり、誰に請求され、何が止めるか」に答えます。GateLLM はこれらをゲートウェイに統合し、トークンへの上乗せは行いません。

FinOps の可視性、配賦、ガバナンスをトークン支出に適用する財務統制レイヤーです。自社レートカードがトークンをお金に変え、タグが支出を正しいコストセンターへ着地させ、日次 / 月次のコストクォータが予算をリクエスト遮断のゲートに変えます。Token Ops を補完する関係で、前者は利用量を、こちらはお金を見ます。

お客様自身でモデルベンダーの API キーを用意します。キーはゲートウェイのメモリ内だけに存在し、永続化も送信もされません。リクエストはゲートウェイからベンダー API へ直接ルーティングされます。GateLLM はマージンを取りません。