Ein Protokoll sprechen. Jedes Modell ausführen.
Ihre App behält ein SDK und ein Übertragungsformat. Das Gateway übersetzt zwischen den vier Chat-Protokollfamilien und normalisiert Streaming, Tool-Aufrufe und Fehler — ein neuer Anbieter oder Modellwechsel berührt den Geschäftscode nie.
Worüber die Community tatsächlich klagt
„Wir haben einen zweiten Anbieter hinzugefügt und pflegen jetzt zwei SDK-Pfade, zwei Streaming-Parser und zwei Tool-Call-Formate.“ „Claude Code spricht nur Anthropic, also konnten wir es auf kein anderes Modell setzen.“ „Jeder Proxy, der sich OpenAI-kompatibel nennt, bricht irgendwo.“
Die wahren Kosten eines Modells sind der API-Aufruf plus der Code drumherum. Letzterer taucht nie auf der Rechnung auf — er taucht in Sprints auf und vervielfacht sich mit jedem Anbieter.
Wie GateLLM es macht
Vier Protokollfamilien auf beiden Seiten — OpenAI, Anthropic, Gemini, DashScope — übersetzen any-to-any. Ein Nur-Anthropic-Client (Claude Code, claude-code-action) erreicht ein Qwen- oder DeepSeek-natives Modell ohne Client-Änderung; über die vier Familien hinaus deckt die Interop-Matrix 15 weitere Upstream-Protokollformen ab.
Eine Fähigkeits-Normalisierungsschicht behandelt, was ein Protokollwechsel wirklich kostet: Streaming-Chunk-Formen, Mapping von Tool-Aufrufen und -Ergebnissen, Bild- und Multimodal-Teile sowie Fehlersemantik. Keys, Richtlinien und Kostenzuordnung gelten unabhängig vom Protokollpaar gleich.
5 Hebel, die wirklich greifen
- Ein SDK, ein Streaming-Parser, ein Tool-Call-Format im Client — ein neuer Anbieter ist eine Konsolenänderung
- Nur-Anthropic-Agenten können jedes unterstützte Modell ausführen; kein Fork, kein Adapter
- Modellwechsel bleiben im Gateway, Anwendungscode und Tests bleiben unberührt
- Nativer Egress: jeder Anbieter erhält sein eigenes Protokoll statt eines rückübersetzten OpenAI-Envelopes
- Dieselbe Key-, Budget- und Richtlinienfläche für jedes Protokollpaar