SDK / フレームワーク統合

どの SDK も同じ 3 ステップで GateLLM に接続します。お使いの SDK を見つけ、base_url の規約とハマりどころを確認し、パターンをコピーしてください。

ゲートウェイはプロトコル指向です。どの SDK を使っていても、OpenAI / Anthropic / Gemini / DashScope / Realtime / MCP を話せるなら、base_url をゲートウェイに向けてアクセスキーに差し替えるだけで、設定済みの任意のモデルを呼び出せます。他ベンダーのモデルへのクロスプロトコル呼び出しも含みます。

1

base_url をゲートウェイに向ける

既定値は https://your-gateway.gatellm.io です。/v1 を含むかどうかは SDK によって異なります(各例に正確な値を記載)。

2

ゲートウェイのアクセスキーに差し替える

アップストリームの sk-… キーではありません。同じアクセスキーを、お使いの SDK が期待するヘッダーに載せます。

3

ゲートウェイのモデル名を使う

コンソールで設定した名前です。ベンダー公式の名前ではありません。

Authorization: Bearer <key>
OpenAI · DashScope · 汎用
Bearer プレフィックスは大文字小文字を区別しません
x-api-key: <key>
Anthropic SDK
Authorization も使用可能
x-goog-api-key: <key>
Gemini SDK
Authorization も使用可能

SDK 選択マトリクス

SDK / フレームワーク言語プロトコルドキュメント
ベンダー公式 SDKGitHub のサンプル ↗
OpenAI SDKPython, Node.jsOpenAI例
Anthropic SDKPython, Node.jsAnthropic例
Google GenAI SDKPython, JavaScriptGemini例
OpenAI-compatible third partiesPython, Node.jsOpenAI-compatible例
DashScope ネイティブ
DashScope SDKPythonDashScope例
統合 SDK / ゲートウェイGitHub のサンプル ↗
Vercel AI SDKTypeScriptOpenAI / Anthropic例
LiteLLMPythonOpenAI-compatible例
PortkeyNode.js, PythonOpenAI-compatible例
Braintrust / LangbaseTypeScript, PythonOpenAI-compatible例
Semantic KernelPython, .NETOpenAI-compatible例
Spring AIJavaOpenAI-compatible例
オーケストレーションフレームワークGitHub のサンプル ↗
LangChainPython, TypeScriptOpenAI / Anthropic例
LangGraphPython, TypeScriptOpenAI / Anthropic例
LlamaIndexPython, TypeScriptOpenAI-compatible例
CrewAIPythonOpenAI-compatible (LiteLLM)例
AutoGen / AG2PythonOpenAI-compatible例
DSPyPythonOpenAI-compatible例
HaystackPythonOpenAI-compatible例
Llama StackPythonOpenAI-compatible例
エージェント SDK
OpenAI Agents SDKPython, TypeScriptOpenAI Responses例
Claude Agent SDKPython, TypeScriptAnthropic例
Pydantic AIPythonOpenAI-compatible例
Google ADKPythonOpenAI-compatible (LiteLLM)例
MastraTypeScriptOpenAI-compatible例
Microsoft Agent Framework.NET, PythonOpenAI-compatible例
MCP SDKPython, TypeScriptMCP例
リアルタイム / 音声
Realtime WebSocketAny WS clientOpenAI Realtime例
openai_audio (ASR / TTS)Python, Node.jsOpenAI audio例
ローカル / セルフホスト
OllamaRESTOpenAI-compatible (upstream)例
vLLMRESTOpenAI-compatible (upstream)例
llama.cpp serverRESTOpenAI-compatible (upstream)例
SGLangRESTOpenAI-compatible (upstream)例
Text Generation Inference (TGI)RESTOpenAI-compatible (upstream)例
LM StudioRESTOpenAI-compatible (upstream)例

ハマりどころ

モデル名はゲートウェイの設定と一致させる必要があります

ベンダー公式の名前でもアップストリームのモデル ID でもなく、コンソールで付けた名前です。名前が違うと 404 model_not_found になります。

base_url に /v1 を含むかは SDK によって異なります

OpenAI SDK は /v1 を付けます。Anthropic SDK はルートを指定します(/v1/messages を自身で付加)。Vercel AI SDK の createAnthropic は /v1 を付けます(/messages を付加)。間違えるとパスのセグメントが余分に付いたり欠けたりします。

フィールドはプロトコルをまたいで翻訳・制約されます

アップストリームが Responses プロトコルのモデルの場合、max_tokens が max_output_tokens に変換され、下限(例:16 以上)が付くことがあります。小さすぎると 400 になります。

thinking ブロックはゲートウェイがラップします

Claude / Gemini の thinking コンテンツと署名はパススルーされるか除去されます。content 配列のうち type == "text" の要素を取得し、content[0] がテキストだと仮定しないでください。

OpenAI Agents SDK の既定は /v1/responses です

Chat Completions ではなく Responses API を呼びます。アップストリームが openai(Chat)の場合は OpenAIChatCompletionsModel で明示的に切り替えてください。openai_response であれば文字列のモデル名でそのまま動きます。

LlamaIndex はモデル名を許可リストで検証します

OpenAI クラスは認識できるファミリーしか受け付けず、ゲートウェイのカスタム名を拒否します。OpenAILike(Python)を使うか、モデル情報を明示的に宣言してください。

CrewAI は内部で LiteLLM により動作します

base_url はフレームワークのパラメーターではなく OPENAI_API_BASE 環境変数で指定し、model には openai/ プレフィックスが必要です。

AutoGen は model_info の明示が必要です

未知のモデル名は既定の一覧でエラーになります。model_info を明示的に宣言してチェックを回避してください。

Google GenAI SDK はルートを指定します

base_url は http_options.base_url で指定し(/v1 なし)、キーは x-goog-api-key ヘッダーに載せます。

FAQ