Funktioniert GateLLM mit LangChain / LlamaIndex / CrewAI?

Ja — richten Sie das zugrunde liegende Chat-Modell jedes Frameworks auf den OpenAI-kompatiblen Endpunkt des Gateways. Jedes hat einen spezifischen Einstiegspunkt zum Ändern der base_url: LangChain nutzt ChatOpenAI(base_url=…), LlamaIndex nutzt OpenAILike, CrewAI setzt die Umgebungsvariable OPENAI_API_BASE (darunter läuft LiteLLM).

Kann ich das Claude Agent SDK oder Claude Code über GateLLM nutzen?

Ja. Sie lesen die Umgebungsvariablen ANTHROPIC_BASE_URL / ANTHROPIC_AUTH_TOKEN — richten Sie sie auf die Gateway-Wurzel und verwenden Sie einen Gateway-Zugriffsschlüssel. Benennen Sie das Gateway-Modell genau wie die ID, die der Agent anfragt (oder gleichen Sie es über ANTHROPIC_MODEL ab).

Wie verbinde ich das OpenAI Agents SDK?

Richten Sie seinen OpenAI-Client auf das Gateway und setzen Sie das Modell. Beachten Sie, dass es standardmäßig /v1/responses verwendet — ist Ihr Upstream ein Modell mit Chat-Protokoll, wechseln Sie explizit mit OpenAIChatCompletionsModel. Deaktivieren Sie Tracing (set_tracing_disabled), damit Traces nicht ebenfalls das Gateway treffen.

Kann GateLLM Ollama / vLLM / llama.cpp bereitstellen?

Ja — konfigurieren Sie sie als OpenAI-kompatible Upstreams und behalten Sie jedes Client-SDK. Das Gateway ergänzt Routing, Fallback und Governance auf Ihren selbst gehosteten Modellen.

Was ist ein Gateway-Zugriffsschlüssel im Vergleich zu einem Upstream-Schlüssel?

Der Gateway-Zugriffsschlüssel ist das, was Ihr Client präsentiert, in dem Header, den Ihr SDK verwendet (Authorization, x-api-key oder x-goog-api-key). Upstream-Anbieterschlüssel bleiben im Gateway und werden Ihrem Client nie offengelegt.

SDK- und Framework-Integrationen

Q: Enthält die base_url /v1 oder nicht?

Das hängt vom SDK ab: Das OpenAI SDK erwartet /v1; das Anthropic SDK erwartet die Wurzel (es hängt /v1/messages an); createAnthropic im Vercel AI SDK erwartet /v1 (es hängt /messages an). Die Dokumentation nennt den genauen Wert pro SDK.

Jedes SDK verbindet sich in denselben drei Schritten mit GateLLM. Finden Sie Ihr SDK, beachten Sie seine base_url-Konvention und Gotcha und kopieren Sie dann das Muster.

Das Gateway ist protokollorientiert: Welches SDK Sie auch nutzen — solange es OpenAI / Anthropic / Gemini / DashScope / Realtime / MCP spricht, können Sie durch Richten seiner base_url auf das Gateway und Einsetzen eines Zugriffsschlüssels jedes konfigurierte Modell aufrufen — einschließlich protokollübergreifender Aufrufe von Modellen anderer Anbieter.

base_url auf das Gateway richten

Standard ist https://your-gateway.gatellm.io — ob /v1 enthalten ist, hängt vom SDK ab (jedes Beispiel nennt den genauen Wert).

Gateway-Zugriffsschlüssel einsetzen

Kein Upstream-sk-…-Schlüssel — derselbe Zugriffsschlüssel wird in den Header eingetragen, den Ihr SDK erwartet.

Den Gateway-Modellnamen verwenden

Was Sie in der Konsole konfiguriert haben — nicht der offizielle Name des Anbieters.

Authorization: Bearer <key>

OpenAI · DashScope · generisch

Bearer-Präfix ist groß-/kleinschreibungsunabhängig

x-api-key: <key>

Anthropic SDK

Authorization wird ebenfalls akzeptiert

x-goog-api-key: <key>

Gemini SDK

Authorization wird ebenfalls akzeptiert

SDK-Auswahlmatrix

SDK / Framework	Sprache	Protokoll	Dokumentation
Offizielle Anbieter-SDKsGitHub-Beispiele ↗
OpenAI SDK	Python, Node.js	OpenAI	Beispiele
Anthropic SDK	Python, Node.js	Anthropic	Beispiele
Google GenAI SDK	Python, JavaScript	Gemini	Beispiele
OpenAI-compatible third parties	Python, Node.js	OpenAI-compatible	Beispiele
DashScope nativ
DashScope SDK	Python	DashScope	Beispiele
Vereinheitlichte SDKs und GatewaysGitHub-Beispiele ↗
Vercel AI SDK	TypeScript	OpenAI / Anthropic	Beispiele
LiteLLM	Python	OpenAI-compatible	Beispiele
Portkey	Node.js, Python	OpenAI-compatible	Beispiele
Braintrust / Langbase	TypeScript, Python	OpenAI-compatible	Beispiele
Semantic Kernel	Python, .NET	OpenAI-compatible	Beispiele
Spring AI	Java	OpenAI-compatible	Beispiele
Orchestrierungs-FrameworksGitHub-Beispiele ↗
LangChain	Python, TypeScript	OpenAI / Anthropic	Beispiele
LangGraph	Python, TypeScript	OpenAI / Anthropic	Beispiele
LlamaIndex	Python, TypeScript	OpenAI-compatible	Beispiele
CrewAI	Python	OpenAI-compatible (LiteLLM)	Beispiele
AutoGen / AG2	Python	OpenAI-compatible	Beispiele
DSPy	Python	OpenAI-compatible	Beispiele
Haystack	Python	OpenAI-compatible	Beispiele
Llama Stack	Python	OpenAI-compatible	Beispiele
Agent-SDKs
OpenAI Agents SDK	Python, TypeScript	OpenAI Responses	Beispiele
Claude Agent SDK	Python, TypeScript	Anthropic	Beispiele
Pydantic AI	Python	OpenAI-compatible	Beispiele
Google ADK	Python	OpenAI-compatible (LiteLLM)	Beispiele
Mastra	TypeScript	OpenAI-compatible	Beispiele
Microsoft Agent Framework	.NET, Python	OpenAI-compatible	Beispiele
MCP SDK	Python, TypeScript	MCP	Beispiele
Echtzeit und Audio
Realtime WebSocket	Any WS client	OpenAI Realtime	Beispiele
openai_audio (ASR / TTS)	Python, Node.js	OpenAI audio	Beispiele
Lokal / selbst gehostet
Ollama	REST	OpenAI-compatible (upstream)	Beispiele
vLLM	REST	OpenAI-compatible (upstream)	Beispiele
llama.cpp server	REST	OpenAI-compatible (upstream)	Beispiele
SGLang	REST	OpenAI-compatible (upstream)	Beispiele
Text Generation Inference (TGI)	REST	OpenAI-compatible (upstream)	Beispiele
LM Studio	REST	OpenAI-compatible (upstream)	Beispiele

Gotchas

Der Modellname muss zur Gateway-Konfiguration passen

Nicht der offizielle Name des Anbieters, nicht die Upstream-Modell-ID — sondern der Name, den Sie in der Konsole vergeben haben. Falscher Name → 404 model_not_found.

Ob base_url /v1 enthält, hängt vom SDK ab

Das OpenAI SDK erwartet /v1; das Anthropic SDK erwartet die Wurzel (es hängt /v1/messages an); createAnthropic im Vercel AI SDK erwartet /v1 (es hängt /messages an). Ein Fehler hier fügt ein Pfadsegment hinzu oder entfernt es.

Felder werden protokollübergreifend übersetzt und eingeschränkt

Aus max_tokens kann max_output_tokens mit einer Untergrenze werden (z. B. ≥16), wenn der Upstream ein Modell mit Responses-Protokoll ist — zu klein → 400.

Thinking-Blöcke werden vom Gateway umschlossen

Thinking-Inhalte und Signaturen von Claude / Gemini werden durchgereicht oder entfernt — nehmen Sie das Element mit type == "text" aus dem Content-Array, gehen Sie nicht davon aus, dass content[0] Text ist.

Das OpenAI Agents SDK verwendet standardmäßig /v1/responses

Es ruft die Responses API auf, nicht Chat Completions. Ist der Upstream openai (Chat), wechseln Sie explizit mit OpenAIChatCompletionsModel; ist er openai_response, funktioniert ein String-Modellname unverändert.

LlamaIndex prüft den Modellnamen gegen eine Allowlist

Die OpenAI-Klasse akzeptiert nur bekannte Familien und lehnt benutzerdefinierte Gateway-Namen ab — verwenden Sie OpenAILike (Python) oder deklarieren Sie die Modellinformationen explizit.

CrewAI wird intern von LiteLLM gesteuert

base_url ist kein Framework-Parameter, sondern die Umgebungsvariable OPENAI_API_BASE, und das Modell benötigt das Präfix openai/.

AutoGen benötigt explizite model_info

Unbekannte Modellnamen führen in der Standardliste zu Fehlern — deklarieren Sie model_info explizit, um die Prüfung zu umgehen.

Das Google GenAI SDK zeigt auf die Wurzel

base_url erfolgt über http_options.base_url (ohne /v1), und der Schlüssel wird im Header x-goog-api-key übergeben.