SDK 與框架整合
所有 SDK 都按同樣的三步接入 GateLLM。找到你用的 SDK，看清它的 base_url 約定與坑，照著抄即可。
閘道器以協議為導向：不管你用哪個 SDK，只要它說 OpenAI / Anthropic / Gemini / DashScope / Realtime / MCP 其中一種協議，把它的 base_url 指向閘道器、換上 access key，就能呼叫任意已設定的模型 —— 包括跨協議呼叫其他廠商的模型。
base_url 指向閘道器
預設 https://your-gateway.gatellm.io —— 是否含 /v1 因 SDK 而異（每個示例給出確切值）。
換成閘道器 access key
不是上游的 sk-… 金鑰 —— 同一把 access key 裝進你 SDK 期望的任意 header。
模型名用閘道器設定名
是你在控制台設定的名字 —— 不是廠商官方名。
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>SDK 選型矩陣
| SDK / 框架 | 語言 | 協議 | 文件 |
|---|---|---|---|
官方廠商 SDKGitHub 範例 ↗ | |||
| OpenAI SDK | Python, Node.js | OpenAI | 示例 |
| Anthropic SDK | Python, Node.js | Anthropic | 示例 |
| Google GenAI SDK | Python, JavaScript | Gemini | 示例 |
| OpenAI-compatible third parties | Python, Node.js | OpenAI-compatible | 示例 |
DashScope 原生 | |||
| DashScope SDK | Python | DashScope | 示例 |
統一 SDK / 閘道器層GitHub 範例 ↗ | |||
| Vercel AI SDK | TypeScript | OpenAI / Anthropic | 示例 |
| LiteLLM | Python | OpenAI-compatible | 示例 |
| Portkey | Node.js, Python | OpenAI-compatible | 示例 |
| Braintrust / Langbase | TypeScript, Python | OpenAI-compatible | 示例 |
| Semantic Kernel | Python, .NET | OpenAI-compatible | 示例 |
| Spring AI | Java | OpenAI-compatible | 示例 |
編排框架GitHub 範例 ↗ | |||
| LangChain | Python, TypeScript | OpenAI / Anthropic | 示例 |
| LangGraph | Python, TypeScript | OpenAI / Anthropic | 示例 |
| LlamaIndex | Python, TypeScript | OpenAI-compatible | 示例 |
| CrewAI | Python | OpenAI-compatible (LiteLLM) | 示例 |
| AutoGen / AG2 | Python | OpenAI-compatible | 示例 |
| DSPy | Python | OpenAI-compatible | 示例 |
| Haystack | Python | OpenAI-compatible | 示例 |
| Llama Stack | Python | OpenAI-compatible | 示例 |
Agent SDK | |||
| OpenAI Agents SDK | Python, TypeScript | OpenAI Responses | 示例 |
| Claude Agent SDK | Python, TypeScript | Anthropic | 示例 |
| Pydantic AI | Python | OpenAI-compatible | 示例 |
| Google ADK | Python | OpenAI-compatible (LiteLLM) | 示例 |
| Mastra | TypeScript | OpenAI-compatible | 示例 |
| Microsoft Agent Framework | .NET, Python | OpenAI-compatible | 示例 |
| MCP SDK | Python, TypeScript | MCP | 示例 |
即時語音 | |||
| Realtime WebSocket | Any WS client | OpenAI Realtime | 示例 |
| openai_audio (ASR / TTS) | Python, Node.js | OpenAI audio | 示例 |
本地 / 自託管 | |||
| Ollama | REST | OpenAI-compatible (upstream) | 示例 |
| vLLM | REST | OpenAI-compatible (upstream) | 示例 |
| llama.cpp server | REST | OpenAI-compatible (upstream) | 示例 |
| SGLang | REST | OpenAI-compatible (upstream) | 示例 |
| Text Generation Inference (TGI) | REST | OpenAI-compatible (upstream) | 示例 |
| LM Studio | REST | OpenAI-compatible (upstream) | 示例 |
接入坑
不是廠商官方名，也不是上游真實模型 ID —— 是你在控制台起的名字。名字不對 → 404 model_not_found。
OpenAI SDK 帶 /v1；Anthropic SDK 指閘道器根（它自己拼 /v1/messages）；Vercel AI SDK 的 createAnthropic 要帶 /v1（它自己拼 /messages）。拼錯會多一段或少一段路徑。
當上遊是 Responses 協議模型時，max_tokens 會被翻譯成 max_output_tokens，且上游可能設下界（如 ≥16）—— 太小 → 400。
Claude / Gemini 的思考內容與簽章會被透通或剝除 —— 取 content 陣列裡 type == "text" 的元素，別假設 content[0] 是文字。
它調的是 Responses API，不是 Chat Completions。上游是 openai（Chat）協議時，用 OpenAIChatCompletionsModel 顯式切到 Chat；上游本身是 openai_response 時，字串模型名直接用。
OpenAI 類只認它認識的一系列名稱，會拒絕自訂閘道器名 —— 用 OpenAILike（Python）或顯式宣告模型資訊繞過。
base_url 不是框架引數 —— 是 OPENAI_API_BASE 環境變數，而且 model 要帶 openai/ 字首。
不在預設清單的模型名會報錯 —— 顯式宣告 model_info 繞過驗證。
base_url 經 http_options.base_url 傳入（不帶 /v1），key 裝在 x-goog-api-key header。