Frontier-Modelle planen. Open-SOTA-Modelle führen aus. Etwa ein Siebtel der Kosten.
Topmodelle übernehmen die Planung, Open-SOTA-Modelle erledigen die Routinearbeit (die übrigen 90 %). Composition senkt die Rechnung auf ~1/7 — die Zahlen werden im Rechner live berechnet, nicht hier behauptet.
- ✓Modelle mischen: Claude Opus plant, DeepSeek / Qwen führen aus — ~1/7 der Kosten, bis zu 90 % günstiger
- ✓Das Gateway entscheidet, welches Modell wirklich läuft: Was im Client auch konfiguriert ist, das Zielmodell ist das von Admins festgelegte — Ingress-Allowlist + Wildcard-Mapping „*“
- ✓Ein Protokoll genügt: Sprich OpenAI oder Anthropic und erreiche Modelle hinter allen vier Chat-Protokollfamilien (OpenAI / Anthropic / Gemini / DashScope) — ein Modellwechsel berührt den Code nicht
- ✓Daten bleiben vor Ort: vollständig selbst gehostet, Prompts erreichen uns nie; Zugangsdaten und PII werden auf dem Anfragepfad erkannt — protokollieren / maskieren / blockieren je Bereich
from openai import OpenAI
# One line change: point your SDK at your own gateway
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gateway-api-key",
)
# Existing code unchanged — the gateway routes each request
# to the right model tier (planning vs execution) per your console policy
resp = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Plan the architecture"}],
)Drei Dinge, die das Gateway kann und ein einzelnes Modell nicht
Modelle mischen, um Kosten zu senken, durchsetzen, welches Modell tatsächlich läuft, und Client-Code auf einem Protokoll halten.
Integriert mit über 100 LLM-Anbietern · 30+ SDKs und Frameworks
- OpenAI
- Anthropic
- DeepSeek
- Qwen
- ERNIE
- Kimi
- Zhipu
- Mistral
- Cohere
Überzeugen Sie sich selbst
Wir veröffentlichen die Dokumente, statt Sie zu bitten, uns einfach zu glauben. Jede Aussage auf dieser Seite hat einen nachlesbaren Beleg, bevor Sie mit uns sprechen.
Eine Schnittstelle, alle Modelle frei kombinierbar
Von einfachem Modell-Routing bis zur Multi-Modell-Orchestrierung bietet GateLLM umfassende Funktionen für Unternehmen.
Multi-Modell-Routing
Eine Schnittstelle für alle Modelle. Intelligentes Fallback, Lastverteilung, automatische Wiederholung.
- Einheitliche API für über 100 LLM-Anbieter
- Intelligentes Fallback-Routing
- Lastverteilung und Ratenbegrenzung
- Upstream-Key-Pooling: ein Aufrufer bleibt an einem Schlüssel, Failover auf den nächsten
- Ollama / vLLM / llama.cpp als openai-kompatible Upstreams, eine Governance-Ebene
Composition
Gestaffeltes Routing nach Plan-Modus, Identität oder Anfrageform: Planung auf Topmodellen, Ausführung auf Open-SOTA. Das Gateway schreibt den Modellnamen um — Client-Code bleibt unverändert.
- Plan-Modus-Erkennung: Planung auf Topmodell, Ausführung auf Open-SOTA — ohne Client-Änderung
- Identitätsbezogene Modellzuordnung: gleicher Modellname → unterschiedliche Upstreams je Key-Gruppe
- switch-route-Regeln: Anfragen mit Bildern oder Sonderfällen an das richtige Modell leiten
- Downgrade im Agenten: Plan gesperrt / automatisches Downgrade außerhalb des Plan-Modus
Multi-Modell-Code-Review
Führen Sie 2–3 Modelle parallel auf demselben PR aus. Das Gateway liefert Protokoll-Interoperabilität und einheitliche Abrechnung; Fan-out, Zusammenführung und Confidence-Bewertung liegen in der Open-Source-Orchestrierungs-Action.
- Gateway-Protokoll-Interop: Nicht-Anthropic-Modelle nehmen an Anthropic-only-Review-Warteschlangen teil
- Ein Zugriffsschlüssel misst und steuert den gesamten Fan-out
- Fan-out, [Consensus N/M]-Bewertung und Zusammenführung liegen in gatellm-io/gatellm-code-review (Orchestrierungsseite)
MCP-Tool-Governance
Bündeln Sie externe MCP-Tool-Server hinter einem /mcp-Endpunkt: Tool-ACLs, Kontextbudgets und Aufruf-Auditierung. Welche Tools ein Agent nutzen darf, liegt in derselben Berechtigungsebene wie die Modelle, die er aufrufen darf.
- Mehrere MCP-Server hinter einem /mcp-Endpunkt
- Tool-Allow/Deny je Key-Gruppe plus Label-Filter
- Integrierte BM25-Suche, wenn die Tool-Liste wächst
- REST-Brücke: jede REST-API per vereinfachter Spezifikation als MCP-Tool einbinden, ohne Code
- MCP-Aufrufe / Verstöße / Sitzungen vollständig auditiert
Websuche-Injektion
Geben Sie jedem Modell einheitlich Websuche: Das Gateway ruft Ergebnisse ab und injiziert sie, synthetisiert native Suchblöcke je Client-Protokoll — auch offene Modelle erhalten Suchgrundlage.
- Native Suchblöcke je Protokoll (Anthropic / OpenAI / Responses)
- Dreifach-Umschalter pro Modell, sanfte Degradation bei Fehlern
- Abgefangene Suche von der nutzungsbasierten Abrechnung ausgenommen
Kostenkontrolle
Budgetverwaltung, Ratenbegrenzung, Kostenzuordnung pro Team, modusbewusste Modellrichtlinie. Keine Aufschläge auf Token-Gebühren, BYOK mit Ihren eigenen Schlüsseln.
- Kostenzuordnung nach Projekt/Funktion
- Sanfte Budgetwarnungen
- BYOK: Anbieter zu Standardtarifen bezahlen
- Modusbewusste Modellrichtlinie (Plan/Ausführung, durchsetzbar)
Governance und Integrationen
Von der Client-Zugriffskontrolle bis zur CI/CD-Integration — erweitern Sie die Gateway-Funktionen in Ihre Entwicklungs- und Kollaborationsabläufe.
- Client-Zugriffskontrolle (User-Agent-Richtlinie)
- GitHub-Actions-Code-Review über Ihr eigenes Gateway
- Batch-Konfiguration: vorbereiten → vollständigen Konfliktsatz anzeigen → atomare Übernahme in einer Transaktion
Office- / M365-Add-in
Kostenpflichtiges Add-onNutzen Sie Ihr eigenes Modell-Gateway direkt in Excel, Word, PowerPoint und Outlook — selbst gehostetes Add-in, Daten verlassen das Netzwerk nie, keine Pivot-Abhängigkeit.
- Excel-Finanzmodellierung / Word-Vertragsprüfung / Outlook-Posteingang
- Entra-SSO + Purview-Label-Gating
- 33 gebündelte Domänen-Skills, kostenpflichtiges Add-on
Transform-Skripte
Eine sandboxed JavaScript-Engine (QuickJS) schreibt Anfrage- und Antwort-JSON am Gateway um. Im Konsolen-Editor bearbeiten, wirkt sofort — kein Redeploy, kein Glue-Code.
- Slots vor / nach der Anfrage + ein Antwort-Slot: Client-Format vor der Übersetzung oder Upstream-Format nach der Übersetzung sehen
- context.useModel() wechselt die gesamte Route — base_url, Protokoll und Zugangsdaten gemeinsam
- Integrierte Bibliothek: json_path / str_* / regex_* / array_* / encoding + hash / UUID + Zeit
- Sandboxed (kein Netzwerk, kein Dateisystem) mit Fail-open-/Fail-closed-Modus und In-Konsolen-Skripttester
Modelle frei kombinieren: Qualität, die kein einzelnes Modell liefert
Composition ist ein natives Gateway-Muster; Multi-Modell-Code-Review ist ein Orchestrierungsmuster, das das Gateway ermöglicht — beide bauen auf der Capability-Normalisierung auf.
Composition: gestaffeltes Routing über Modelle hinweg
Routen Sie nach Plan-Modus, Identität oder Anfrageform: Planung bleibt auf Topmodellen, Ausführung wechselt zu Open-SOTA. Das Gateway schreibt den Modellnamen um und übersetzt Protokolle — Client-Code bleibt unverändert.
- ✓Plan-Modus-Erkennung: Planung an Topmodelle, Ausführung an Open-SOTA — ohne Client-Änderung
- ✓Identitätsbezogene Modellzuordnung: gleicher Modellname → unterschiedliche Upstreams je Key-Gruppe / Header
- ✓switch-route-Regeln: Anfragen mit Bildern oder Sonderfälle an das richtige Modell leiten
- ✓Kein Glue-Code — Protokollübersetzung übernimmt das Gateway
- ✓Durchsetzbare Richtlinie: Administratoren sperren Modellstufen je Plan-/Ausführungsmodus und unterbinden den Einsatz ausschließlich von Topmodellen
// before-slot transform script (JavaScript) — switch execution model by plan mode.
// Mounted on the entry model in the console; runs before routing.
function transform(body, context) {
if (context.sourceProtocol !== "Anthropic") {
return body;
}
const EXEC_MODEL = "qwen3.8-max"; // a model name configured in the gateway
const PLAN = /plan mode is active/i;
const EXIT = /exited plan mode/i;
// take the last marker-bearing message: later marker wins
const messages = body.messages || [];
for (let i = messages.length - 1; i >= 0; i--) {
const s = JSON.stringify(messages[i].content || "");
const inPlan = PLAN.test(s);
const exited = EXIT.test(s);
if (inPlan || exited) {
// not in plan mode → switch execution to the cost-efficient model
if (exited || !inPlan) context.useModel(EXEC_MODEL);
return body;
}
}
context.useModel(EXEC_MODEL);
return body;
}Multi-Modell-Code-Review (Orchestrierungsseite)
Das Gateway ermöglicht das Muster, die Orchestrierungsebene führt es aus: claude-code-action spricht nur das Anthropic-Protokoll, und die Protokoll-Interoperabilität des Gateways erlaubt Nicht-Anthropic-Modellen wie qwen3.8-max und kimi-k3, der Review-Warteschlange beizutreten. Ein einziger Gateway-Zugriffsschlüssel misst jeden Review-Modellaufruf einheitlich ein.
- ✓[Consensus N/M]-Confidence-Annotationen, Zusammenführung und Deduplizierung erzeugt die Action
- ✓Jedes Review-Modell wird separat abgerechnet und vom Gateway einheitlich aggregiert
- ✓PR-Zeilen-Gate und Zusammenklappen historischer Kommentare sind in der Action enthalten
Drei Schritte zum ersten Token.
Steigen Sie in drei Schritten von einem Einzelmodell auf Multi-Modell-Orchestrierung um, ohne Geschäftscode umzuschreiben. Jedes SDK (OpenAI / Anthropic / Gemini / DashScope) funktioniert.
Gateway bereitstellen
Docker-Start mit einem Klick oder Kubernetes-Helm-Deployment in Ihre private Umgebung.
Schlüssel konfigurieren
BYOK-Modus: Tragen Sie Ihre bestehenden Anbieter-API-Schlüssel ein; Daten bleiben On-Premises und werden nie persistiert.
Endpunkt ersetzen
Richten Sie die base_url des OpenAI SDK auf GateLLM und rufen Sie alle Modelle über eine einheitliche Schnittstelle auf.
Oder übergeben Sie es Ihrem Agenten
Fügen Sie dies in Ihren Coding-Agenten ein
Installieren und konfigurieren Sie das GateLLM-Gateway. Rufen Sie zuerst die Roh-Markdown-Datei dieser Installationsanleitung per curl ab, lesen Sie sie vollständig und folgen Sie dann jedem Schritt der Reihe nach (die Schritte hängen voneinander ab — z. B. muss eine Key-Gruppe existieren, bevor ein Zugriffsschlüssel angelegt wird; überspringen Sie nichts):
curl -fsSL https://docs.gatellm.io/en/quickstart/docker-single-node.mdDer Agent braucht nur eines von Ihnen: den API-Schlüssel des Upstream-Anbieters. Den Rest erzeugt er selbst, konfiguriert alles über die Konsolen-API — ohne Browser — und ist fertig, wenn die erste Anfrage eine Completion zurückliefert.
Oder führen Sie es selbst aus
docker run -d \
--name gatellm \
-p 7890:7890 \
-e CONSOLE_PASSWORD=change-me-on-first-login \
-e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
-e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
-e STORAGE_MODE=sqlite \
-v gatellm-data:/var/lib/protoflux \
ghcr.io/gatellm-io/gatellm:latestErsetzen Sie die drei Platzhalterwerte vor dem Ausführen — die Anleitung erklärt, was jeder ist und warum es unsicher ist, ihn unverändert zu lassen.
# Just one line change: point base_url to GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# Existing code unchanged, call any model
response = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Hello"}]
)Bringen Sie das SDK mit, das Sie schon haben. Eine Zeile ändern.
Dieselben vier Protokolle auf beiden Seiten. Von jedem zu jedem konvertieren ohne Glue-Code, über Chat, Bild, Sprache, Video, Echtzeit-Sprache, Embedding und Rerank.
Funktioniert mit dem SDK, das Sie bereits haben
Richten Sie jedes SDK oder Framework mit einer Zeile auf das Gateway. OpenAI, Anthropic, Gemini und DashScope verbinden nativ; LangChain, LlamaIndex, CrewAI, Vercel AI SDK und 30+ weitere über denselben base_url-Wechsel.
base_url auf das Gateway richten
Standard ist https://your-gateway.gatellm.io — ob /v1 enthalten ist, hängt vom SDK ab (jedes Beispiel nennt den genauen Wert).
Gateway-Zugriffsschlüssel einsetzen
Kein Upstream-sk-…-Schlüssel — derselbe Zugriffsschlüssel wird in den Header eingetragen, den Ihr SDK erwartet.
Den Gateway-Modellnamen verwenden
Was Sie in der Konsole konfiguriert haben — nicht der offizielle Name des Anbieters.
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>Offizielle Anbieter-SDKs
OpenAI / Anthropic / Google SDKs verbinden nativ — nur base_url ändert sich
DashScope nativ
Text, Bild, asynchrones Video, Embedding und Rerank über einen Endpunkt
Vereinheitlichte SDKs und Gateways
Vercel AI SDK, LiteLLM, Portkey, Semantic Kernel, Spring AI
Orchestrierungs-Frameworks
LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, Haystack
Agent-SDKs
OpenAI Agents, Claude Agent, Pydantic AI, ADK, Mastra
Echtzeit und Audio
Echtzeit-WebSocket-Sprache + openai_audio ASR / TTS
Lokal / selbst gehostet
Ollama, vLLM, llama.cpp als Upstreams — jedes Client-SDK bleibt erhalten
Richten Sie jeden KI-Coding-Agenten auf das Gateway
Alle Coding-Agent-Setups ansehen → ↗Es ruft die Responses API auf, nicht Chat Completions. Ist der Upstream openai (Chat), wechseln Sie explizit mit OpenAIChatCompletionsModel; ist er openai_response, funktioniert ein String-Modellname unverändert.
Die OpenAI-Klasse akzeptiert nur bekannte Familien und lehnt benutzerdefinierte Gateway-Namen ab — verwenden Sie OpenAILike (Python) oder deklarieren Sie die Modellinformationen explizit.
base_url ist kein Framework-Parameter, sondern die Umgebungsvariable OPENAI_API_BASE, und das Modell benötigt das Präfix openai/.
Das OpenAI SDK erwartet /v1; das Anthropic SDK erwartet die Wurzel (es hängt /v1/messages an); createAnthropic im Vercel AI SDK erwartet /v1 (es hängt /messages an). Ein Fehler hier fügt ein Pfadsegment hinzu oder entfernt es.
# base_url convention differs by SDK — match the one you're using
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK: /v1
import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK: root (appends /v1/messages)
# Vercel AI SDK createAnthropic: baseURL ".../v1" (appends /messages) — the reverse
# LangChain ChatOpenAI: base_url="https://your-gateway.gatellm.io/v1"Capability-Normalisierung: anbieterübergreifende Mischung erst möglich machen
Anbieterübergreifendes Modell-Mixing beruht auf der Capability-Normalisierungsschicht, die sieben Kopplungspunkte vereinheitlicht, sodass ein Modellwechsel nie das Umschreiben von Glue-Code bedeutet.
Normalisierung von Tool-Aufrufen
OpenAI / Anthropic / Gemini / chinesische Modelle haben alle unterschiedliche Tool-Calling-Schemata. Wir vereinheitlichen sie im Fundament, schreiben Code einmal und rufen alle Modelle auf.
Kompatibilität strukturierter Ausgaben
Jeder Anbieter nutzt andere Protokolle (striktes JSON-Schema, json_mode, tool_use). Wir vereinheitlichen zu einer konsistenten Schnittstelle.
Vereinheitlichung des Prompt-Cachings
Anthropic cache_control, automatisches Caching von OpenAI, Gemini-Kontext — jeder hat andere Mechanismen. Wir bieten eine einheitliche Caching-Strategie.
Anpassung von Reasoning-Token
Die Ausgabeformate von o1 / Claude Thinking / DeepSeek R1 unterscheiden sich. Wir passen uns dem Reasoning-Token-Protokoll jedes Anbieters an.
Unterstützung multimodaler Formate
Vision-/Audio-/Datei-Upload-Protokolle unterscheiden sich je Anbieter. Wir vereinheitlichen multimodale Eingabeformate.
Abstraktion des Abrechnungsmodells
Die Preisstruktur jedes Anbieters unterscheidet sich. Wir abstrahieren zu einer einheitlichen Kostenerfassungsschnittstelle.
Normalisierung der Fehlersemantik
Fehlercodes und -inhalte jedes Anbieters unterscheiden sich. Wir normalisieren zu einem einheitlichen Fehlerinhalt, wobei z-request-id jede Anfrage durchgängig korreliert.
Datenfluss: bleibt On-Premises, wird nie persistiert
Im BYOK-Modus werden API-Schlüssel nur im Speicher des Gateways gehalten, nie persistiert oder übertragen. Anfragen laufen über das Gateway direkt zu den offiziellen APIs der Anbieter; Daten verlassen Ihr privates Netzwerk nie.
Warum ~1/7 der Kosten?
Nehmen Sie ein Unternehmen mit 1 Mrd. Token pro Tag: gleiche Arbeitslast — vergleichen Sie die Rechnung für „durchgängig Topmodelle“ mit „Topmodelle planen, offene Modelle führen aus“.
Claude Opus 5 plant + führt aus, durchgängig Topmodelle
~90 % Ausführung auf Open-SOTA, die entscheidenden 10 % Planung auf Topmodellen
Drei Quellen der Ersparnis:
- 1.BYOK ohne Token-Aufschlag — Sie zahlen Anbieter zu Standardtarifen, GateLLM nimmt keinen Zwischenanteil (Aggregatoren erheben typischerweise Plattform- und Zahlungsgebühren zusätzlich zum Listenpreis);
- 2.Composition — offene SOTA-Modelle (GLM / Qwen / DeepSeek) tragen den Großteil der Ausführung (Klassifizierung, Extraktion, Übersetzung), Topmodelle (wie Claude Opus) nur für Planung und schwieriges Reasoning;
- 3.Prompt-Caching — hochfrequente Aufrufe treffen den Cache, der Stückpreis sinkt um 50 %–90 %.
Die Zahlen sind illustrative Modelle auf Basis öffentlicher Preise; tatsächliche Ersparnisse hängen von Geschäftsszenario und Mix-Verhältnis ab. Die Pro-Lizenzgebühr von $400/Monat (2 GB, Einzelinstanz) ist im GateLLM-Tarif enthalten.
Nutzung, die Sie sehen; Kosten, die Sie verrechnen; Budgets, die Sie halten
Token Ops verfolgt, wer was nutzt; Token FinOps macht aus Token abrechenbares, gedeckeltes Geld. Eine Steuerungsebene macht KI-Ausgaben so beherrschbar wie Cloud-Ausgaben.
Transparenz von Nutzung und Kosten
Schlüsseln Sie jeden Aufruf nach Modell, Zugriffsschlüssel und Key-Gruppe auf, mit getrennt gemessenen Eingabe-/Ausgabe-/Cache-Treffer-Token in 1-Minuten-Auflösung.
- Gruppiert nach Modell / Schlüssel / Key-Gruppe
- Eingabe, Ausgabe und Cache-Treffer getrennt gemessen
- 24 h / 7 T / 30 T / benutzerdefinierte Zeitreihen
Client-Zulassung und Audit-Trail
Nur freigegebene Clients erreichen das Gateway — erlauben, drosseln oder ablehnen per User-Agent. Jeder Aufruf hinterlässt einen prüfbaren Datensatz für Endpunkt-Governance und Compliance-Nachweise.
- Client-Zugriffskontrolle (User-Agent-Richtlinie)
- Aufrufdatensätze mit Log-Aufbewahrung (Pro und höher)
- Audit-/DLP-Integration (Enterprise)
Management-API (programmatische Steuerung)
EnterpriseVerwalten Sie das Gateway per API: API-Schlüssel erstellen / widerrufen, Kontingente und Budgets setzen, Nutzung und Kosten abfragen, Audit-Logs exportieren — binden Sie es in Ihre internen Ops- und Abrechnungssysteme ein.
- Programmatisches Erstellen / Widerrufen von API-Schlüsseln
- Kontingente und Budgets per API
- API für Nutzungs- und Kostenabfragen
- Export von Audit-Logs
Eigene Preisliste und Preis-Snapshots
Tragen Sie den ausgehandelten Privatpreis manuell ein, und er wird maßgeblich — Systemaktualisierungen überschreiben ihn nie. Jeder Preis hat ein Gültigkeitsfenster: Planen Sie Preissenkungen im Voraus, und Änderungen schreiben historische Kosten nie um.
- Gepinnter Privatpreis überdeckt den automatischen, wird nie überschrieben
- Snapshots wirken zeitfensterbasiert
- Historie nachtragen / Preissenkungen vorplanen
- Abrechnungsmodi Token · pro Aufruf · pro Sekunde
Tag-basierte Zuordnung und Verrechnung
Versehen Sie Schlüssel und Key-Gruppen mit Tags und aggregieren Sie Nutzung und Kosten nach Tag, um Token-Ausgaben dem richtigen Kostenstellen zuzuordnen. Der Excel-Export teilt das Ledger nach Modell × Schlüssel für interne Showback- oder Chargeback-Zwecke.
- Freie Tags auf Schlüsseln / Key-Gruppen
- Nutzung und Kosten nach Tag aggregieren
- Excel-Export mit 6 Tabellenblättern (inkl. Schlüssel × Modell)
- Bereit für internes Showback / Chargeback
Kostenkontingente und Limits
Setzen Sie Tages- und Monatsausgabenobergrenzen pro Schlüssel — unabhängig nach UTC-Kalendertag und -monat beurteilt, blockiert, sobald eine der beiden erreicht ist. Kontingente erben Schlüssel → Gruppe → global und nehmen den weitesten Wert über Gruppen hinweg.
- Tages-/Monatsgrenzen, unabhängig beurteilt
- Vererbung Schlüssel → Gruppe → global
- 429 quota_exceeded, Retry-After bei Tagesgrenze
GateLLM vs. LiteLLM
Ein quellenbelegter Vergleich. GateLLM bringt einige Mechanismen mit, die LiteLLM nicht hat; beide teilen eine gesicherte Basis; einiges unterscheidet sich grundsätzlich. Entscheiden Sie anhand der beiden oberen Ebenen, nicht anhand von Marketingrauschen.
Nur GateLLM kann das
Mechanismen, die LiteLLM nicht hat — die einzeilige Erklärung „wie es funktioniert“ steht unter jeder Funktion.
| Funktion | GateLLM | LiteLLM |
|---|---|---|
| Bedingter ModellwechselDeklarative switch-route-Regeln + integrierte Plan-Modus-Erkennung + context.useModel()-Skripte — ohne Client-Änderung. LiteLLM benötigt eigene Python-Callbacks. | Ja | Nein |
| Protokoll- und SDK-übergreifendes MischenNative Any-to-any-Einstiegspunkte — GPT aus dem Anthropic SDK, DeepSeek aus dem Gemini SDK aufrufen. LiteLLM ist OpenAI-zentriert; Rückwege laufen über Shims. | Ja | Nein |
| Konfigurationsübernahme in einer TransaktionVorbereiten → vollständigen Konfliktsatz anzeigen → atomare Übernahme; bei jedem Konflikt wird der gesamte Batch zurückgerollt. | Ja | Nein |
| Harte Kostenkontingent-SperreTages-/Monatszyklen liefern 429 quota_exceeded, sobald die Ausgaben die Grenze erreichen. LiteLLM sendet nur Budgetwarnungen. | Ja | Nein |
| Absturzsichere AbrechnungVorabzug → Abrechnung → Rückerstattung mit einem In-Flight-Ledger — korrekt auch bei Prozessabstürzen. | Ja | Nein |
| Upstream-Key-Pooling und feste BindungGewichtetes FNV-1a-Hashing bindet jeden Aufrufer an einen Schlüssel, Failover auf den nächsten unversuchten Schlüssel; weight=0 als Standby. | Ja | Nein |
| Drei Abrechnungsmodi + mehrere WährungenToken / pro Aufruf / pro Dauer, USD/CNY/EUR/JPY/GBP, benutzerdefinierte Dimensionen. LiteLLM erfasst nur tokenbasiert. | Ja | Nein |
| Upstream-SSO-Anmeldung mit ZugangsdatenBindet Anbieter ohne statische Schlüssel ein (z. B. Kiro). LiteLLM akzeptiert nur statische API-Schlüssel. | Ja | Nein |
| Registry für Capability-MetadatenSteuert automatische Injektion und Degradation; Capability-Drift neuer Modelle erfordert keine Codeänderung. | Ja | Nein |
| LTS-Release-ZweigN-1 + LTS-Zweig (siehe /lifecycle). LiteLLM unterstützt nur die letzten 4 Minor-Versionen. | Ja | Nein |
Beides können beide gut
Eine gesicherte Basis — jedes Gateway deckt diese Ebene ab. Die Entscheidung fällt in den Ebenen darüber und darunter.
| Funktion | GateLLM | LiteLLM |
|---|---|---|
| API-Routing · Fallback · Lastverteilung | Ja | Ja |
| BYOK, kein Token-Aufschlag | Ja | Ja |
| Vollständig selbst gehostet, Daten bleiben On-Premises | Ja | Ja |
| Anbieterübergreifende Normalisierung von Tool-Aufrufen | Ja | Ja |
| Normalisierung strukturierter Ausgaben (JSON-Schema) | Ja | Ja |
| Anpassung von Reasoning-/Thinking-Token | Ja | Ja |
| Modellübergreifendes Prompt-Caching | Ja | Ja |
| Websuche-Injektion | Ja | Ja |
| MCP-Gateway (Tool-Aggregation) | Ja | Ja |
| Visuelle Konsole zur Konfiguration | Ja | Ja |
| Audit-Logs und Nutzungs-/Kostenmessung | Ja | Ja |
Verifiziert anhand der offiziellen Dokumentation der jeweiligen Produkte mit Stand 2026-09-04 (docs.litellm.ai / docs.gatellm.io). Einige LiteLLM-Funktionen erfordern eine Enterprise-Lizenz; Details können sich ändern — prüfen Sie die Quellen vor der Beschaffung.
Secrets und PII werden beim Eingang erkannt — Sie entscheiden, was als Nächstes passiert.
Eine deterministische Regel-Engine prüft jede Modellanfrage auf Zugangsdatenformate und PII und protokolliert den Fund, ohne das Secret selbst zu protokollieren. Die integrierten Regeln werden deaktiviert und im Beobachtungsmodus ausgeliefert; Sie aktivieren sie und wählen je Geltungsbereich Log, Maskieren oder Blockieren. Kein Modell sitzt im Erkennungspfad.
Deterministische Erkennung, kein Modell im Pfad
Konstruktionsbedingt deterministisch: zuerst Literal-Proben, dann Regex-Regeln, die Kontextwörter erfordern, dann Prüfsummen-Validatoren — Luhn für Kartennummern, Mod-97 für IBAN, die Prüfsumme nationaler Ausweise, PEM- und OpenSSH-Privatschlüsselblöcke, IPv4.
- Zugangsdatenformate: API-Schlüssel von Modellanbietern, Cloud-Zugriffsschlüssel, GitHub- und GitLab-Token, JWTs, PEM- und OpenSSH-Privatschlüssel, Slack-Token
- PII-Klassen: Mobilfunknummern aus Festlandchina, nationale Personalausweisnummern, Bankkartennummern, IBANs, E-Mail-Adressen, IPv4-Adressen
- Mehrstufige Unterhaltungen scannen nur das Neue — eine Cursor-Hash-Kette verhindert, dass eine lange Sitzung bereits geprüften Text erneut scannt
Maskierung, die Ihr Client durchschauen kann; Blockieren, das nichts preisgibt
Unter Maskieren erhält das Upstream-Modell nummerierte Platzhalter und Ihr Client bekommt die echten Werte zurück — inklusive Wiederherstellung pro SSE-Frame beim Streaming. Unter Blockieren enthält die Ablehnung die Regelkategorie und eine Anfrage-ID, niemals den gefundenen Text.
- Der Upstream sieht Platzhalter; die Partei, der die Daten gehören, bekommt ihre eigenen Werte zurück
- Lange Einfügungen sind nicht ausgenommen — übergroße Strings werden auf die Festplatte ausgelagert und in festen Fenstergrößen zurückgescannt, sodass der Speicher unabhängig von der Nutzlastgröße flach bleibt
- Die Allowlist gleicht nach Wert ab, nie nach Pfad: Das Freigeben eines Testschlüssels befreit nicht stillschweigend ein ganzes Feld
Log-Inhalte: wie empfangen gespeichert, an jedem Ausgang redigiert
Die Persistenz von Anfrage-Logs ist im ausgelieferten Image aus. Schalten Sie sie ein, werden Inhalte wie empfangen gespeichert und anschließend an jeder Ausgangsfläche redigiert — die Konsolen-API redigiert standardmäßig, SSE- und Terminal-Ausgabe werden immer redigiert, und ein Redaktionsfehler schließt die Antwort, statt sie durchsickern zu lassen.
- Das Offenlegen von Rohinhalten ist ein ausdrücklicher Akt: eine Administratorrolle plus ein explizites Reveal-Flag, auditiert und gezählt
- Die Redaktion umfasst sensible Body-Schlüssel, sensible Query- und URL-Parameter, Header mit statischen und benutzerdefinierten Auth-Schemata sowie Bearer-Token-Werte mit teilweiser Offenlegung
- Ein Fund behält einen maskierten Ausschnitt mit begrenztem Kontext, niemals den gefundenen Text; Funde teilen das Aufbewahrungsfenster der Logs, standardmäßig 7 Tage
Standardmäßig aus, mit Absicht
Das integrierte Regelpaket wird deaktiviert ausgeliefert, und jede integrierte Regelaktion ist Log. Das ist der sichere Rollout und keine Lücke: Sehen Sie, was in Ihrem echten Datenverkehr passiert wäre, stimmen Sie die Allowlist anhand Ihrer eigenen Fehlalarme ab und aktivieren Sie dann Maskieren oder Blockieren, wo es zählt. Die Richtlinie gilt global, pro Zugriffsschlüsselgruppe oder pro Zugriffsschlüssel, und Regeln werden per Hot-Reload übernommen.
- 1
LogBeobachten. Funde landen mit maskierten Ausschnitten in der Konsole; die Anfrage selbst bleibt unberührt.
- 2
MaskierenUmkehrbar durchsetzen. Der Upstream sieht Platzhalter; Ihr Client erhält weiterhin den echten Wert.
- 3
BlockierenAblehnen. Die Anfrage wird mit Regelkategorie und Anfrage-ID zurückgewiesen — niemals mit dem gefundenen Text.
Was es ist und was es nicht ist
Was es ist
- Läuft im eigenen Gateway-Prozess, auf dem Modellanfragepfad, mit Geltungsbereich global / pro Zugriffsschlüsselgruppe / pro Zugriffsschlüssel
- Eine eigene Konsolenseite: eine Fundansicht für Administrator- und Monitorrollen, eine Regelansicht für Administratoren, ein Ein-/Ausschalter mit Speicherbudget-Vorprüfung, Hot-Reload und Audit-Einträge
- Ein Dry-Run-Vorschau-Endpunkt, sodass eine Regel anhand einer Stichprobe getestet werden kann, bevor sie aktiviert wird
- Jeder Fund lässt sich auf Regelname, Kategorie, Schweregrad, ergriffene Aktion, Trefferzahl, Modell und Namen des Zugriffsschlüssels zurückführen
Was es nicht ist
- Keine Erkennung von Antwortinhalten — der Antwortpfad stellt nur Platzhalter wieder her
- Kein ML, keine Jailbreak- oder Prompt-Injection-Erkennung und keine Moderations-API: Die Regeln sind deterministisch
- Kein Offline-Re-Audit — Inhalte, die zur Anfragezeit nicht gescannt wurden, werden später nicht gescannt
- Keine DLP-Suite: keine Abdeckung von Endpunkten, E-Mail oder anderen Ausgangskanälen
- Keine Detektoren für Reisepass, SSN, Namen oder Adressen, und bekannte Restlücken sind dokumentiert — base64-kodierte Medien werden übersprungen, und ein über zwei Stream-Frames geteilter Platzhalter geht unverändert durch
Was Sie tatsächlich bekommen.
Die drei Dinge, die die Beschaffung interessiert, vor dem Preis geklärt: ein DPA, das Ihre Rechtsabteilung unterzeichnen kann, eine Rechnung, die nicht davonläuft, und Prompts, die uns nie erreichen.
Ein DPA, das Ihre Rechtsabteilung unterzeichnen kann
DSGVO- und CCPA-ready, mit einem DPA, das Ihre Rechtsabteilung tatsächlich unterzeichnen kann. Selbst gehostet — Daten verlassen nie Ihren Perimeterschutz — mit Enterprise-SSO (OIDC / SAML 2.0) und SCIM-2.0-Provisioning inklusive.
Eine Rechnung, die nicht davonläuft
BYOK: Anbieter zu Standardtarifen bezahlen — kein Token-Aufschlag, keine Gebühren pro Sitzplatz. Harte Kontingentgrenzen pro Schlüssel und Projekt verhindern, dass ein außer Kontrolle geratenes Skript Ihr Budget überholt.
Ihre Prompts erreichen uns nie
Vollständig selbst gehostet — Ihre Prompts und Completions gelangen überhaupt nie in unsere Systeme. BYOK-Schlüssel liegen nur im Speicher des Gateways; Anfragen gehen direkt an die Anbieter-APIs und verlassen Ihr Netzwerk nie.
Vollständig selbst gehostet · Einzelinstanz 2 GB · Nie Aufschlag auf Token-Gebühren
BYOK (eigene Schlüssel) — Sie zahlen Anbieter zu Standardtarifen. Wir lizenzieren eine einzelne 2-GB-Instanz, nie nach Sitzplätzen oder Token-Aufschlag. Größerer Speicher oder mehrere Instanzen laufen über Enterprise.
In jedem Tarif enthalten: BYOK ohne Token-Aufschlag · Routing zu 100+ Anbietern · Client-Zugriffskontrolle · Prompt-Caching · Kostenkontingente
Free
Vollständig selbst gehostet · Einzellizenz
512-MB-Einzelinstanz, keine Log-Aufbewahrung — geeignet für Evaluierung und PoCs, nicht für Produktionsdatenverkehr.
- ✓Routing zu 100+ LLMs · Fallback · Lastverteilung
- ✓Anbieterübergreifendes Modell-Mixing · Downgrade im Agenten (Plan gesperrt / automatisches Downgrade außerhalb des Plan-Modus)
- ✓Client-Zugriffskontrolle (User-Agent-Richtlinie)
- ✓Prompt-Caching
- ✓BYOK (eigene Schlüssel, kein Aufschlag)
- ✓512-MB-Speicherlimit · SQLite · Einzelinstanz
- ✓GitHub-Actions-Code-Review über Ihr eigenes Gateway
- ✓Keine Log-Aufbewahrung
Pro
/ Monat · 2-GB-Einzelinstanz (festes Limit) · 21 Tage kostenlos testen
Festes 2-GB-Limit, kein Add-on. Für mehrere Knoten, Compliance (Audit/DLP) oder die Management-API wählen Sie Enterprise.
- ✓Alle Free-Funktionen
- ✓2 GB Speicher · Einzelinstanz (festes Limit, kein Add-on)
- ✓Log-Aufbewahrung
- ✓Enterprise-SSO (OIDC: Azure AD / Okta / generisch, plus SAML 2.0 + SCIM)
- ✓PostgreSQL · 2 GB Speicher
- ✓E-Mail-/Ticket-Support
100 % Rückerstattung innerhalb von 30 Tagen bei Unzufriedenheit
Enterprise
Nach Speicherkapazität · Jährliche Abrechnung · 30-Tage-Rückerstattung
- ✓Alle Pro-Funktionen
- ✓Kapazitätsbasierte Abrechnung (Knoten × Speicher, pauschal $400/GB/Monat)
- ✓Multi-Node-/Cluster-Deployment
- ✓GitHub-Actions-Code-Review über Ihr eigenes Gateway
- ✓Microsoft-365-Add-in (Excel/Word/PPT/Outlook, kostenpflichtiges Add-on)
- ✓Erweiterte Log-Aufbewahrung
- ✓Priorisierte Support-Reaktion
- ✓Compliance (Audit / DLP)
- ✓Management-API (programmatischer API-Schlüssel · Kontingent · Nutzungsabfrage · Audit-Export)
Brauchen Sie mehr Kapazität oder ein individuelles Setup? Kontakt aufnehmen →
Funktionsvergleich
| Funktion | Free | Pro | Enterprise |
|---|---|---|---|
| Multi-Modell-Routing · Fallback · Lastverteilung | ✓ | ✓ | ✓ |
| Anbieterübergreifendes Modell-Mixing (Planung/Ausführung nach Anbieter) | ✓ | ✓ | ✓ |
| Downgrade im Agenten (Plan gesperrt / automatisches Downgrade außerhalb des Plan-Modus) | ✓ | ✓ | ✓ |
| Prompt-Caching | ✓ | ✓ | ✓ |
| BYOK (eigene Schlüssel, kein Aufschlag) | ✓ | ✓ | ✓ |
| Speicherstufe | 512 MB | 2 GB (fest) | Individuell |
| Speicher / Datenbank | SQLite (Einzelinstanz) | PostgreSQL · 2 GB | PostgreSQL + Redis-Cluster |
| Deployment-Skala | 1 Instanz | 1 Instanz · 2 GB | Multi-Node / Cluster |
| Durchsatz pro GB (Referenz) | — | 2 GB ≈ 200 Mio. TPM / 1.000 RPM | ≈ 100 Mio. TPM / 500 RPM pro GB |
| Log-Aufbewahrung | Keine | Aufbewahrt | Erweiterte Aufbewahrung |
| SSO (OIDC / SAML 2.0) | — | ✓ | ✓ |
| SCIM-2.0-Auto-Provisioning | — | ✓ | ✓ |
| Compliance (Audit / DLP) | — | — | ✓ |
| Management-API (programmatischer Schlüssel · Kontingent · Nutzung · Audit) | — | — | ✓ |
| Eigene Preisliste / Preis-Snapshots (inkl. privater Preisgestaltung) | ✓ | ✓ | ✓ |
| Kostenkontingente (täglich / monatlich, dreistufige Vererbung) | ✓ | ✓ | ✓ |
| Support-Reaktion | Community | E-Mail / Ticket | Priorisierte Reaktion |
| Modusbewusste Modellrichtlinie (Plan/Ausführung, durchsetzbar) | ✓ | ✓ | ✓ |
| Client-Zugriffskontrolle (User-Agent-Richtlinie) | ✓ | ✓ | ✓ |
| GitHub-Actions-Code-Review (über Ihr Gateway) | ✓ | ✓ | ✓ |
| Microsoft-365-Add-in (Excel/Word/PPT/Outlook, selbst gehostet) | — | Add-on | Add-on |
| Purview-Sensitivitätslabel-Gating (addin.access / file.upload) | — | — | ✓ |