# Was ist ein LLM-Gateway? Definition, Einsatz und Auswahl - GateLLM

> Ein LLM-Gateway führt jede Anwendung, jeden Agenten und jede IDE über einen Endpunkt: Protokollübersetzung, Schlüsselverwaltung, Messung und Audit. Was es leistet, wann Sie eines brauchen, wann nicht und wie Sie auswählen.

Kanonisch: https://www.gatellm.io/de/llm-gateway/

## Was ist ein LLM-Gateway?

Der eine Endpunkt, den jede App, jeder Agent und jede IDE aufruft – und die eine Stelle, an der Modellverkehr geroutet, gemessen, abgesichert und auditiert wird.

Der Begriff wird locker verwendet: Anbieter nennen dieselbe Schicht AI-Gateway, LLM-Proxy oder LLM-Router. Diese Seite definiert ihn präzise, trennt ihn von Verwechslungen und sagt ausdrücklich, wann Sie keines einsetzen sollten.

LLM-Gateway — AI-Gateway / LLM-Proxy / LLM-Router

## Was ist ein LLM-Gateway?

Ein LLM-Gateway ist ein Dienst zwischen Ihren Anwendungen und den Modellanbietern. Anwendungen rufen einen Endpunkt auf; das Gateway leitet jede Anfrage an das konfigurierte Modell weiter, übersetzt Protokolle, verwaltet Anbieterschlüssel und zeichnet die Nutzung auf. Es trainiert nicht mit Ihrem Verkehr, schreibt Ihre Prompts nicht um und ersetzt das Modell nicht.

- Es ist Infrastruktur, kein Modell – die Modelle bleiben bei den Anbietern Ihrer Wahl.
- Ein Endpunkt bedient Chat-Apps, Coding-Agenten, Batch-Jobs, Echtzeit-Sprache und MCP-Tool-Aufrufe.
- Die nützliche Trennlinie: Das Gateway besitzt den Anfragepfad, die Anwendung den Prompt.

## Was leistet ein LLM-Gateway tatsächlich?

Vier Aufgaben: jede Anfrage an das richtige Modell routen, Protokolle normalisieren, damit jeder Client mit jedem Anbieter spricht, Schlüssel und Zugriffskontrolle zentralisieren und jeden Aufruf für Kosten und Audit aufzeichnen. Caching, Budgets und Inhaltsprüfungen bauen auf diesen vier auf – nicht an ihrer Stelle.

- Routing und Fallback: Modell je Agentenrolle wählen, bei 5xx oder Timeout einen anderen Anbieter versuchen, Upstream-Schlüssel poolen.
- Protokollübersetzung: vier Chat-Protokollfamilien in beide Richtungen, sodass ein Client sein vorhandenes SDK behält.
- Governance: Schlüsselgruppen, Header-basierte Zulassung, Mandanten-Quotas, SSO und SCIM, Audit-Logs auf Anfrageebene.
- Beobachtbarkeit: Token- und Kostenreihen je Schlüssel, Team und Modell in Minutenauflösung.

## Warum stellen Unternehmen ein Gateway vor ihre Modelle?

Weil Modellzugriff aufhört, das Problem eines Teams zu sein. Sobald mehrere Teams, Anbieter und Agenten Modelle aufrufen, werden die Fragen zu Beschaffungsfragen: Wer darf welches Modell nutzen, was kostet es je Abteilung, sind Daten aus dem Netz gegangen, und wie viel Engineering kostet ein Anbieterwechsel. Ein Gateway beantwortet das per Konfiguration statt per Codeänderung.

- Kostenzuordnung: Jeder Aufruf trägt Schlüssel und Tag, Ausgaben lassen sich je Team trennen.
- Datenpfad: Das Gateway läuft in Ihrem Netz; Anfragen gehen nur an konfigurierte Endpunkte.
- Kontinuität: Anbieterausfälle und Modellwechsel werden in der Routing-Schicht behandelt.
- Beschaffung: Self-Hosting mit BYOK hält Schlüssel und Verkehr unter Ihren Anbieterverträgen.

## Wann brauchen Sie wirklich ein LLM-Gateway?

Wenn zwei dieser Punkte zutreffen: mehr als ein Modellanbieter, mehr als ein nutzendes Team, eine Compliance- oder Residenzanforderung, oder Ausgaben, die niemand mehr erklären kann. Unterhalb dieser Linie ist der direkte Aufruf der Anbieter-APIs einfacher und günstiger – ein Gateway ist ein weiterer Dienst, der betrieben werden will.

- Zwei oder mehr Anbieter, aus Fähigkeits-, Kosten- oder Ausfallgründen.
- Kostenberichte je Team oder Kunde werden wiederholt verlangt.
- Daten dürfen ein Netz, eine Region oder einen Mandanten nicht verlassen.
- Mehrere Agenten und IDEs teilen heute ein oder zwei API-Schlüssel.

## Wann ist ein Gateway die falsche Wahl?

Wenn Sie ein Team, einen Anbieter und eine Anwendung haben. Ein Gateway fügt einen Hop, ein Deployment und eine Rufbereitschaftsfläche hinzu. Wenn die monatlichen Modellkosten planbar und Ihre Compliance-Anforderungen einfach sind, rufen Sie den Anbieter direkt auf und prüfen es erneut, wenn der zweite Anbieter, das zweite Team oder die erste Audit-Anfrage kommt.

- Ein Prototyp oder ein einzelnes internes Werkzeug bei einem Anbieter braucht keines.
- Prompt-Management und Modellevaluierung sind andere Produkte – ein Gateway ersetzt sie nicht.
- Kein Gateway ersetzt das Lesen Ihrer Anbieterverträge.

## Wie unterscheidet sich ein Gateway von einem Relay-Dienst oder von Anbieter-SDKs?

Ein Relay leitet Verkehr für Sie an einen Anbieter weiter, hält oft Ihren Schlüssel und erhebt eine Gebühr. Ein selbst betriebenes Gateway behält Schlüssel und Verkehr in Ihrem Netz und ergänzt Routing, Messung und Richtlinien. Direkte Anbieter-SDKs sparen die Zwischenschicht, lassen aber Retry-, Protokoll- und Messlogik in jeder Anwendung liegen.

- Für einen Prototyp kann ein Relay genügen; der Preis ist, dass Prompts und Schlüssel Ihr Netz verlassen.
- Nur-SDK ist am günstigsten, bis der zweite Anbieter kommt – dann braucht jede App denselben Klebstoff.
- Nur das Gateway kann Ihnen von den dreien sagen, wer wie viel ausgegeben hat.

| Kriterium | Selbst gehostetes Gateway | Relay / Aggregator | Nur Anbieter-SDKs |
| --- | --- | --- | --- |
| Ausführungsort | Ihre VPC oder On-Premises | Cloud des Anbieters | In jeder Anwendung |
| Schlüsselverwahrung | Ihr Secret Store; zur Laufzeit Gateway-Speicher | Relay-Anbieter | Jede Anwendung |
| Modellabdeckung | Jeder konfigurierte Anbieter | Katalog des Anbieters | Ein Anbieter je SDK |
| Routing und Fallback | Je Rolle, je Schlüssel, über Anbieter | Auf den Katalog begrenzt | Selbst geschrieben |
| Kostenberichte | Je Schlüssel, Gruppe, Modell aus eigenem Ledger | Anbieter-Dashboard | Was Sie selbst bauen |
| Audit-Fläche | Anfrage-Logs in Ihrer Hand | Anbieter-Logs | Über Apps verstreut |

## Sollte das Gateway selbst gehostet oder als SaaS laufen?

Self-Hosting, wenn Schlüssel, Prompts oder Logs Ihr Netz nicht verlassen dürfen oder die Beschaffung keinen weiteren Subprozessor akzeptiert. SaaS gewinnt, wenn Sie kein Plattformteam haben und keinen Betrieb wollen. Die entscheidende Frage ist nicht Mode, sondern: Wer kann Ihren Verkehr lesen?

- Self-Hosting kostet Container, Upgrades und ein Runbook; SaaS kostet Abo und Subprozessor-Prüfung.
- Hybrid existiert: selbst gehostete Datenebene mit Anbieter-Kontrollebene – Prompts bleiben drinnen, Metadaten vielleicht nicht.
- Verlangen Sie das Datenflussdiagramm, nicht die Marketingseite.

| Kriterium | Selbst gehostet | SaaS |
| --- | --- | --- |
| Datenpfad | Bleibt in Ihrem Netz | Läuft über den Anbieter |
| Schlüsselverwahrung | BYOK, nur im Gateway-Speicher | Anbieterverwaltet oder weitergeleitet |
| Betriebskosten | Sie betreiben Container und Upgrades | Anbieter betreibt es |
| Erste Anfrage | Eine Compose-Datei | Registrierung |
| Compliance-Fläche | Ihr DPA, Ihre Subprozessoren | Anbieter-DPA und Subprozessoren |
| Fehlerdomäne | Ihre Infrastruktur | Statusseite des Anbieters |

## Wie sollten Sie auswählen?

Bewerten Sie die Auswahl nach fünf Punkten: wo es läuft, woran die Rechnung hängt, welche Protokolle und SDKs es nativ spricht, wie fein es Schlüssel und Mandanten steuert und ob der Anbieter das Produkt im nächsten Jahr noch besitzt. Prüfen Sie dann das eine, was keine Matrix zeigt: Können Sie einen Monat alten Kostenbericht heute reproduzieren?

- Deployment: selbst gehostet, SaaS oder hybrid – und ob die Kontrollebene nach Hause telefoniert.
- Abrechnungsanker: pro Instanz, pro Sitz, pro Token oder ein Anteil der Ausgaben.
- Protokolle: OpenAI, Anthropic, Gemini und DashScope in beide Richtungen, mit echter Streaming- und Tool-Call-Parität.
- Governance: Schlüsselgruppen, Header-ACLs, Budgets, SSO und SCIM, Audit-Export.
- Reproduzierbarkeit: gleiche Eingaben, gleiche Zahlen, Monate später.

## LLM-Gateway-FAQ

### Ist ein LLM-Gateway dasselbe wie ein AI-Gateway?

Praktisch ja. Beide Namen bezeichnen die Schicht zwischen Anwendungen und Modellen. Anbieter unterscheiden sich im Umfang: manche vermitteln auch Bilder, Audio oder Embeddings. GateLLM deckt Chat, Echtzeit-Sprache, Websuche und MCP-Tool-Aufrufe über denselben Endpunkt ab.

### Fügt ein Gateway Latenz hinzu?

Einen Netzwerk-Hop in Ihrem eigenen Netz. GateLLM fügt keinen eigenen Inferenzschritt hinzu; der Aufwand ist gegenüber der Antwort des Anbieters klein, und Streaming-Token werden beim Eintreffen weitergegeben.

### Sieht das Gateway meine Prompts?

Es verarbeitet sie im Speicher, um zu routen, und – wenn aktiviert – um Anmeldedaten und PII im Anfragepfad zu maskieren. Anfrage-Logs sind standardmäßig aus; wenn aktiv, sind gespeicherte Inhalte an jedem Ausgangspunkt maskiert, und die Offenlegung von Rohinhalten ist Admins vorbehalten und wird auditiert.

### Kann ein Gateway mehrere Teams bedienen?

Ja. Schlüsselgruppen, Gruppen-ACLs und Mandanten-Quotas sind der Mechanismus: Jedes Team erhält eigene Schlüssel und ein eigenes Budget, während Modellkatalog und Routingregeln geteilt bleiben.

## Weiterlesen

- [AI-Gateways vergleichen](https://www.gatellm.io/de/compare.md)
- [Anwendungsfälle](https://www.gatellm.io/de/use-cases.md)
- [Glossar](https://www.gatellm.io/de/glossary.md)
- [Kostenrechner](https://www.gatellm.io/de/calculator.md)
- [Berechnung des Kostenvergleichs](https://www.gatellm.io/de/methodology.md)
- [Enterprise-KI-Governance](https://www.gatellm.io/de/enterprise-ai-governance.md)

## Verwandt
- [Startseite](https://www.gatellm.io/de/index.md)
- [Preise](https://www.gatellm.io/de/pricing.md)
- [Kostenrechner](https://www.gatellm.io/de/calculator.md)
- [Über uns](https://www.gatellm.io/de/about.md)
- [Demo buchen](https://www.gatellm.io/de/demo.md)
- [FAQ](https://www.gatellm.io/de/faq.md)
- [AI-Gateways vergleichen](https://www.gatellm.io/de/compare.md)
- [LiteLLM vergleichen](https://www.gatellm.io/de/compare/litellm.md)
- [OpenRouter vergleichen](https://www.gatellm.io/de/compare/openrouter.md)
- [Alibaba Cloud AI Gateway vergleichen](https://www.gatellm.io/de/compare/alibaba-cloud.md)
- [Azure API Management vergleichen](https://www.gatellm.io/de/compare/azure-apim.md)
- [Apigee vergleichen](https://www.gatellm.io/de/compare/apigee.md)
- [Cloudflare AI Gateway vergleichen](https://www.gatellm.io/de/compare/cloudflare.md)
- [Kong AI Gateway vergleichen](https://www.gatellm.io/de/compare/kong.md)
- [Portkey vergleichen](https://www.gatellm.io/de/compare/portkey.md)
- [Alternative zu Microsoft 365 Copilot](https://www.gatellm.io/de/compare/copilot.md)
- [LiteLLM vs Kong AI Gateway](https://www.gatellm.io/de/compare/litellm-vs-kong.md)
- [LiteLLM vs OpenRouter](https://www.gatellm.io/de/compare/litellm-vs-openrouter.md)
- [LiteLLM vs Portkey](https://www.gatellm.io/de/compare/litellm-vs-portkey.md)
- [Anwendungsfälle](https://www.gatellm.io/de/use-cases.md)
- [LLM-Kosten senken](https://www.gatellm.io/de/use-cases/reduce-cost.md)
- [Hochverfügbarkeit](https://www.gatellm.io/de/use-cases/high-availability.md)
- [Multi-Tenant-Isolation](https://www.gatellm.io/de/use-cases/multi-tenant.md)
- [Compliance & Audit](https://www.gatellm.io/de/use-cases/compliance-audit.md)
- [Fehlerbehebung nach Symptom](https://www.gatellm.io/de/use-cases/troubleshooting.md)
- [Gemischter Multi-Vendor-Modellstack](https://www.gatellm.io/de/use-cases/mixed-model-stack.md)
- [KI im Office selbst hosten](https://www.gatellm.io/de/use-cases/self-hosted-office-ai.md)
- [Token-Nutzung: Transparenz & Zuordnung](https://www.gatellm.io/de/use-cases/token-ops.md)
- [Token-FinOps: KI-Kosten zuordnen & steuern](https://www.gatellm.io/de/use-cases/token-finops.md)
- [MCP-Tool-Governance](https://www.gatellm.io/de/use-cases/mcp-tool-governance.md)
- [Websuche für jedes Modell](https://www.gatellm.io/de/use-cases/web-search-grounding.md)
- [Multi-Key-Rotation & Standby](https://www.gatellm.io/de/use-cases/multi-key-pooling.md)
- [Zugangskontrolle für verbundene Clients](https://www.gatellm.io/de/use-cases/client-admission-control.md)
- [Modellrichtlinie durchsetzen](https://www.gatellm.io/de/use-cases/enforce-model-policy.md)
- [Keine Modellwahl im Client](https://www.gatellm.io/de/use-cases/automatic-model-tiering.md)
- [Ein Protokoll, jedes Modell](https://www.gatellm.io/de/use-cases/one-protocol-any-model.md)
- [Office / Microsoft 365 Add-in](https://www.gatellm.io/de/office-addin.md)
- [Glossar](https://www.gatellm.io/de/glossary.md)
- [Enterprise-KI-Governance](https://www.gatellm.io/de/enterprise-ai-governance.md)
- [Berechnung des Kostenvergleichs](https://www.gatellm.io/de/methodology.md)
- [Modellkatalog](https://www.gatellm.io/de/models.md)
- [SDK- & Framework-Integrationen](https://www.gatellm.io/de/integrations.md)
- [KI-Coding-Agents & Harnesses](https://www.gatellm.io/de/coding-agents.md)
- [Sicherheit & Compliance](https://www.gatellm.io/de/security.md)