Glossar

Vereinheitlicht die sieben anbieterübergreifenden Kopplungspunkte (Tool-Aufrufe, strukturierte Ausgaben, Prompt-Cache, Reasoning-Token, Multimodalität, Abrechnung, Fehlersemantik) hinter einer Schnittstelle. Das ist die Voraussetzung, um Modelle anbieterübergreifend zu mischen — sonst hat jedes Modell seine eigene Aufrufkonvention, und jeder Wechsel erfordert Glue-Code.

Leitet verschiedene Anfragephasen am Gateway an verschiedene Modelle — identitätsbezogene Modellzuordnung plus Plan-Modus-Wechsel. Das kanonische Muster: Ein Topmodell (z. B. Claude Opus) plant, während offene SOTA-Modelle (GLM / Qwen / DeepSeek) ausführen — ~14 % Kosten für ~97 % Leistungsfähigkeit. In der Konsole konfiguriert (Regeln + Skripte), ohne Client-Code-Änderung.

Ein Muster der Orchestrierungsebene — derselbe Prompt läuft parallel durch mehrere Modelle, und die Ergebnisse werden zusammengeführt. Fan-out, Deduplizierung und Confidence-Annotation liegen in Ihrer Orchestrierungsebene (z. B. GitHub Actions); das Gateway liefert Protokoll-Interoperabilität und einheitliche Messung, sodass jedes Modell beitritt und der gesamte Datenverkehr zentral governiert bleibt. Geeignet für wichtige Aufrufe wie Code-Review. Die ausgelieferte Ausprägung dieses Musters ist das Multi-Modell-Code-Review (siehe Orchestrierungsabschnitt).

Die nutzungsseitige Betriebsebene für LLM-APIs — Observability, Client-Zulassung, Audit-Trails und programmatische Verwaltung. Sie beantwortet „wer nutzt was, wie viel, und kommt er hinein“; Token FinOps (das Gegenstück) beantwortet „wie Token zu Geld werden, wem es berechnet wird und was es stoppt“. GateLLM integriert beides ins Gateway — nie als Aufschlag pro Token.

Die finanzielle Steuerungsebene, die FinOps-Transparenz, -Zuordnung und -Governance auf Token-Ausgaben anwendet: Eine eigene Preisliste macht Token zu Geld, Tags ordnen Ausgaben der richtigen Kostenstelle zu, und tägliche / monatliche Kostenkontingente machen Budgets zu anfrageblockierenden Sperren. Ergänzt Token Ops — ersteres sieht die Nutzung, dieses sieht das Geld.

Sie bringen Ihre eigenen API-Schlüssel des Modellanbieters mit. Schlüssel liegen nur im Speicher des Gateways — nie persistiert oder übertragen; Anfragen laufen über das Gateway direkt an Anbieter-APIs. GateLLM nimmt keinen Anteil.