初級開発 + プラットフォームエンジニア
1 つのプロトコルで話し、あらゆるモデルを動かす。
アプリは 1 つの SDK と 1 つのワイヤ形式を保ちます。ゲートウェイが 4 つのチャットプロトコル系間を変換し、ストリーミング、ツール呼び出し、エラーを正規化するので、ベンダー追加やモデル交換でビジネスコードに触れることはありません。
コミュニティが実際に不満を言っていること
「2 社目のベンダーを追加したら、SDK 経路 2 本、ストリーミングパーサー 2 つ、ツール呼び出し形式 2 つを保守することになった」「Claude Code は Anthropic しか話さないので、他のモデルに載せられなかった」「OpenAI 互換を名乗るプロキシはどこかで必ず壊れる」
モデルの本当のコストは API 呼び出しと、その周りに書くコードの合計です。後者は請求書には現れず、スプリントに現れ、ベンダーを増やすたびに倍増します。
GateLLM のやり方
両側に 4 つのプロトコル系 — OpenAI、Anthropic、Gemini、DashScope — があり any-to-any で変換します。Anthropic 専用クライアント(Claude Code、claude-code-action)はクライアント変更なしで Qwen / DeepSeek ネイティブのモデルに届きます。4 系に加えて 15 の上流プロトコル形状を相互運用マトリクスでカバーしています。
能力正規化レイヤーが、プロトコル交換の実際のコストを処理します:ストリーミングのチャンク形状、ツール呼び出しと結果のマッピング、画像とマルチモーダルのパート、エラーの意味論。キー、ポリシー、コスト按分はどのプロトコルの組み合わせを跨いでも同じように適用されます。
実際に効く 5 つのレバー
- クライアントは 1 SDK、1 ストリーミングパーサー、1 ツール呼び出し形式 — 新しいベンダーはコンソールの変更だけ
- Anthropic 専用エージェントがあらゆる対応モデルを実行可能。フォークもアダプタも不要
- モデル交換はゲートウェイ内で完結し、アプリコードとそのテストは無変更
- ネイティブ egress:各プロバイダは再翻訳された OpenAI エンベロープではなく、自身のプロトコルを受け取る
- どのプロトコルの組み合わせでもキー・予算・ポリシーの同じ面