Des modèles de pointe planifient. La SOTA ouverte exécute. Environ 1/7 du coût.
Les modèles les plus performants prennent en charge la planification ; les modèles SOTA ouverts assurent les 90 % des tâches routinières. La composition ramène la facture à ~1/7 — les chiffres sont calculés en direct dans le calculateur, pas affirmés ici.
- ✓Mélangez les modèles : Claude Opus planifie, DeepSeek / Qwen exécutent — ~1/7 du coût, jusqu’à 90 % moins cher
- ✓La passerelle décide quel modèle s’exécute réellement : quelle que soit la configuration du client, le modèle d’arrivée est celui fixé par les admins — liste d’autorisation en entrée + correspondance générique « * »
- ✓Un seul protocole suffit : parlez OpenAI ou Anthropic et atteignez les modèles des quatre familles de protocoles de chat (OpenAI / Anthropic / Gemini / DashScope) — changer de modèle ne touche jamais votre code
- ✓Les données restent sur site : entièrement auto-hébergé, les prompts ne nous parviennent jamais ; identifiants et données personnelles détectés sur le chemin de la requête — journaliser / masquer / bloquer selon la portée
from openai import OpenAI
# One line change: point your SDK at your own gateway
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gateway-api-key",
)
# Existing code unchanged — the gateway routes each request
# to the right model tier (planning vs execution) per your console policy
resp = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Plan the architecture"}],
)Trois choses que la passerelle fait et qu’un modèle seul ne peut pas faire
Mélangez les modèles pour réduire les coûts, imposez celui qui s’exécute réellement et gardez le code client sur un seul protocole.
Intégré à plus de 100 fournisseurs de LLM · plus de 30 SDK et frameworks
- OpenAI
- Anthropic
- DeepSeek
- Qwen
- ERNIE
- Kimi
- Zhipu
- Mistral
- Cohere
Vérifiez par vous-même
Nous publions les documents au lieu de vous demander de nous croire sur parole. Chaque affirmation de cette page est étayée par des pièces que vous pouvez consulter avant même de nous parler.
Une seule interface, tous les modèles combinables
Du simple routage de modèles à l’orchestration multi-modèles, GateLLM offre des capacités complètes de niveau entreprise.
Routage multi-modèles
Une seule interface pour appeler tous les modèles. Repli intelligent, répartition de charge, nouvelle tentative automatique.
- API unifiée pour plus de 100 fournisseurs de LLM
- Routage de repli intelligent
- Répartition de charge et limitation de débit
- Mutualisation des clés amont : un appelant reste sur une clé et bascule vers la suivante en cas d’échec
- Ollama / vLLM / llama.cpp comme amonts compatibles OpenAI, un seul plan de gouvernance
Composition
Routage par paliers selon le mode plan, l’identité ou la forme de la requête : planification sur les modèles de pointe, exécution sur la SOTA ouverte. La passerelle réécrit le nom du modèle — le code client ne change jamais.
- Détection du mode plan : planification sur les modèles de pointe, exécution sur la SOTA ouverte — aucun changement côté client
- Mappage de modèles par identité : un même nom de modèle → des amonts différents selon le groupe de clés
- Règles switch-route : rediriger les requêtes avec image ou les requêtes spéciales vers le bon modèle
- Rétrogradation dans l’agent : plan verrouillé / rétrogradation automatique hors plan
Revue de code multi-modèles
Exécutez 2 à 3 modèles en parallèle sur la même PR. La passerelle fournit l’interopérabilité protocolaire et la mesure à clé unique ; la diffusion, la fusion et le score de confiance résident dans l’action d’orchestration open source.
- Interopérabilité protocolaire de la passerelle : les modèles non Anthropic rejoignent les files de revue réservées à Anthropic
- Une seule clé d’accès mesure et gouverne toute la diffusion
- Diffusion, score [Consensus N/M] et fusion dans gatellm-io/gatellm-code-review (côté orchestration)
Gouvernance des outils MCP
Regroupez les serveurs d’outils MCP externes derrière un point de terminaison /mcp unique : ACL au niveau des outils, budgets de contexte et audit des appels. Les outils qu’un agent peut utiliser relèvent du même plan de permissions que les modèles qu’il peut appeler.
- Plusieurs serveurs MCP derrière un point de terminaison /mcp unique
- Autorisation/refus d’outils par groupe de clés + filtres d’étiquettes
- Récupération BM25 intégrée lorsque la liste d’outils s’allonge
- Pont REST : encapsulez n’importe quelle API REST en outil MCP depuis une spécification simplifiée, sans code
- Appels MCP / violations / sessions entièrement audités
Injection de recherche web
Donnez la recherche web à chaque modèle, uniformément : la passerelle récupère et injecte les résultats, en synthétisant des blocs de recherche natifs selon le protocole du client — les modèles ouverts bénéficient aussi de l’ancrage par recherche.
- Blocs de recherche natifs par protocole (Anthropic / OpenAI / Responses)
- Bascule à trois positions par modèle, dégradation gracieuse en cas d’échec
- La recherche injectée est exclue de la facturation à l’usage
Maîtrise des coûts
Gestion des budgets, limitation de débit, imputation des coûts par équipe, politique de modèles selon le mode. Jamais de marge sur les tokens, BYOK avec vos propres clés.
- Imputation des coûts par projet/fonctionnalité
- Alertes de budget progressives
- BYOK : payez les fournisseurs aux tarifs standard
- Politique de modèles selon le mode (plan/exécution, opposable)
Gouvernance et intégrations
Du contrôle d’accès client à l’intégration CI/CD — étendez les capacités de la passerelle à vos workflows de développement et de collaboration.
- Contrôle d’accès client (politique User-Agent)
- Revue de code GitHub Actions via votre propre passerelle
- Configuration par lots : préparer → prévisualiser l’ensemble des conflits → validation atomique en une transaction
Complément Office / M365
Complément payantUtilisez votre propre passerelle de modèles directement dans Excel, Word, PowerPoint et Outlook — complément auto-hébergé, les données ne quittent jamais le réseau, aucune dépendance à un pivot.
- Modélisation financière Excel / revue de contrats Word / boîte de réception Outlook
- SSO Entra + blocage par étiquette Purview
- 33 compétences métier intégrées, extension payante
Scripts de transformation
Un moteur JavaScript isolé (QuickJS) réécrit le JSON des requêtes et des réponses au niveau de la passerelle. Modifiez dans la console, appliqué en direct — sans redéploiement, sans code de liaison.
- Emplacements avant / après requête + un emplacement réponse : voyez le format client avant traduction ou le format amont après traduction
- context.useModel() bascule toute la route — base_url, protocole et identifiants ensemble
- Bibliothèque intégrée : json_path / str_* / regex_* / array_* / encoding + hash / UUID + time
- Isolé (sans réseau, sans système de fichiers) avec modes fail-open/fail-closed et un testeur de scripts dans la console
Combinaison de modèles : une qualité qu’aucun modèle seul ne peut offrir
La composition est un modèle natif de la passerelle ; la revue de code multi-modèles est un modèle côté orchestration que la passerelle rend possible — les deux reposent sur la couche de normalisation des capacités.
Composition : routage par paliers entre modèles
Routez selon le mode plan, l’identité ou la forme de la requête : la planification reste sur les modèles de pointe, l’exécution descend vers la SOTA ouverte. La passerelle réécrit le nom du modèle et traduit les protocoles — le code client ne change jamais.
- ✓Détection du mode plan : planification sur les modèles de pointe, exécution sur la SOTA ouverte — aucun changement côté client
- ✓Mappage de modèles par identité : un même nom de modèle → des amonts différents selon le groupe de clés / l’en-tête
- ✓Règles switch-route : rediriger les requêtes avec image ou les requêtes spéciales vers le bon modèle
- ✓Aucun code de liaison — la traduction des protocoles est assurée par la passerelle
- ✓Politique opposable : les administrateurs verrouillent les paliers de modèles par mode plan/exécution, empêchant tout usage sur les modèles les plus chers
// before-slot transform script (JavaScript) — switch execution model by plan mode.
// Mounted on the entry model in the console; runs before routing.
function transform(body, context) {
if (context.sourceProtocol !== "Anthropic") {
return body;
}
const EXEC_MODEL = "qwen3.8-max"; // a model name configured in the gateway
const PLAN = /plan mode is active/i;
const EXIT = /exited plan mode/i;
// take the last marker-bearing message: later marker wins
const messages = body.messages || [];
for (let i = messages.length - 1; i >= 0; i--) {
const s = JSON.stringify(messages[i].content || "");
const inPlan = PLAN.test(s);
const exited = EXIT.test(s);
if (inPlan || exited) {
// not in plan mode → switch execution to the cost-efficient model
if (exited || !inPlan) context.useModel(EXEC_MODEL);
return body;
}
}
context.useModel(EXEC_MODEL);
return body;
}Revue de code multi-modèles (côté orchestration)
La passerelle rend le modèle possible, la couche d’orchestration l’exécute : claude-code-action ne parle que le protocole Anthropic, et l’interopérabilité protocolaire de la passerelle permet à des modèles non Anthropic comme qwen3.8-max et kimi-k3 de rejoindre la file de revue. Une seule clé d’accès à la passerelle mesure uniformément chaque modèle de revue.
- ✓Les annotations de confiance [Consensus N/M], la fusion et la déduplication sont produites par l’action
- ✓Chaque modèle de revue est facturé séparément et agrégé uniformément par la passerelle
- ✓Le seuil sur le nombre de lignes de la PR et la reprise des commentaires historiques sont intégrés à l’action
Trois étapes vers votre premier token.
Passez d’un modèle unique à l’orchestration multi-modèles en trois étapes, sans réécrire le code métier. N’importe quel SDK (OpenAI / Anthropic / Gemini / DashScope) fonctionne.
Déployer la passerelle
Lancement Docker en un clic, ou déploiement Kubernetes Helm dans votre environnement privé.
Configurer les clés
Mode BYOK : saisissez vos clés API de fournisseurs existantes, les données restent sur site et ne sont jamais persistées.
Remplacer le point de terminaison
Faites pointer le base_url du SDK OpenAI vers GateLLM, appelez tous les modèles avec une interface unifiée.
Ou confiez-le à votre agent
Collez ceci dans votre agent de codage
Installez et configurez la passerelle GateLLM. Commencez par récupérer en curl le Markdown brut de ce guide d’installation, lisez-le intégralement, puis suivez chaque étape dans l’ordre (les étapes ont des dépendances — par exemple, un groupe de clés doit exister avant une clé d’accès ; ne sautez pas d’étape) :
curl -fsSL https://docs.gatellm.io/en/quickstart/docker-single-node.mdL’agent n’a besoin que d’une chose de votre part : la clé API du fournisseur amont. Il génère le reste, configure tout via l’API Console — sans navigateur — et a terminé dès que la première requête renvoie une complétion.
Ou exécutez-le vous-même
docker run -d \
--name gatellm \
-p 7890:7890 \
-e CONSOLE_PASSWORD=change-me-on-first-login \
-e ENCRYPTION_KEY=REPLACE_WITH_YOUR_ENCRYPTION_KEY \
-e CONSOLE_SECRET_KEY=REPLACE_WITH_YOUR_CONSOLE_SECRET_KEY \
-e STORAGE_MODE=sqlite \
-v gatellm-data:/var/lib/protoflux \
ghcr.io/gatellm-io/gatellm:latestRemplacez les trois valeurs d’exemple avant l’exécution — le guide explique ce que chacune représente et pourquoi la laisser telle quelle est risqué.
# Just one line change: point base_url to GateLLM
from openai import OpenAI
client = OpenAI(
base_url="https://your-gateway.gatellm.io/v1",
api_key="your-gatellm-api-key"
)
# Existing code unchanged, call any model
response = client.chat.completions.create(
model="claude-opus-5", # or claude-sonnet-5, gpt-6-astra, deepseek-flash...
messages=[{"role": "user", "content": "Hello"}]
)Gardez le SDK que vous avez déjà. Changez une ligne.
Les mêmes quatre protocoles des deux côtés. Convertissez de n’importe quel format vers n’importe quel autre sans code de liaison, pour le chat, l’image, la parole, la vidéo, la voix en temps réel, l’embedding et le rerank.
Fonctionne avec le SDK que vous avez déjà
Pointez n’importe quel SDK ou framework vers la passerelle en une ligne. OpenAI, Anthropic, Gemini et DashScope se connectent nativement ; LangChain, LlamaIndex, CrewAI, Vercel AI SDK et plus de 30 autres via le même remplacement de base_url.
Pointer base_url vers la passerelle
Par défaut https://your-gateway.gatellm.io — la présence de /v1 dépend du SDK (chaque exemple donne la valeur exacte).
Remplacer par une clé d’accès à la passerelle
Ce n’est pas une clé amont sk-… — la même clé d’accès s’insère dans l’en-tête attendu par votre SDK.
Utiliser le nom de modèle de la passerelle
Celui que vous avez configuré dans la console — pas le nom officiel du fournisseur.
Authorization: Bearer <key>x-api-key: <key>x-goog-api-key: <key>SDK officiels des fournisseurs
Les SDK OpenAI / Anthropic / Google se connectent nativement — seul le base_url change
Natif DashScope
Texte, image, vidéo asynchrone, embedding et rerank via un seul point de terminaison
SDK et passerelles unifiés
Vercel AI SDK, LiteLLM, Portkey, Semantic Kernel, Spring AI
Frameworks d’orchestration
LangChain, LlamaIndex, CrewAI, AutoGen, DSPy, Haystack
SDK d’agents
OpenAI Agents, Claude Agent, Pydantic AI, ADK, Mastra
Temps réel et audio
Voix WebSocket en temps réel + ASR / TTS openai_audio
Local / auto-hébergé
Ollama, vLLM, llama.cpp comme amonts — conservez n’importe quel SDK client
Pointez n’importe quel agent de codage IA vers la passerelle
Voir toutes les configurations d’agents de codage → ↗Il appelle l’API Responses, pas Chat Completions. Si l’amont est openai (Chat), basculez explicitement avec OpenAIChatCompletionsModel ; si c’est openai_response, un nom de modèle sous forme de chaîne fonctionne tel quel.
La classe OpenAI n’accepte que les familles qu’elle reconnaît et rejette les noms personnalisés de passerelle — utilisez OpenAILike (Python) ou déclarez explicitement les informations du modèle.
base_url n’est pas un paramètre du framework — c’est la variable d’environnement OPENAI_API_BASE, et le modèle a besoin du préfixe openai/.
Le SDK OpenAI prend /v1 ; le SDK Anthropic prend la racine (il ajoute /v1/messages) ; createAnthropic du Vercel AI SDK prend /v1 (il ajoute /messages). Se tromper ajoute ou supprime un segment de chemin.
# base_url convention differs by SDK — match the one you're using
from openai import OpenAI
OpenAI(base_url="https://your-gateway.gatellm.io/v1") # OpenAI SDK: /v1
import anthropic
anthropic.Anthropic(base_url="https://your-gateway.gatellm.io") # Anthropic SDK: root (appends /v1/messages)
# Vercel AI SDK createAnthropic: baseURL ".../v1" (appends /messages) — the reverse
# LangChain ChatOpenAI: base_url="https://your-gateway.gatellm.io/v1"Normalisation des capacités : rendre possible le mélange entre fournisseurs
Le mélange de modèles entre fournisseurs repose sur la couche de normalisation des capacités, qui unifie sept points de couplage afin que changer de modèle n’implique jamais de réécrire du code de liaison.
Normalisation de l’appel d’outils
OpenAI / Anthropic / Gemini / les modèles chinois ont tous des schémas d’appel d’outils différents. Nous les unifions à la base : écrivez le code une fois, appelez tous les modèles.
Compatibilité des sorties structurées
Chaque fournisseur utilise des protocoles différents (schéma JSON strict, json_mode, tool_use). Nous unifions vers une interface cohérente.
Unification de la mise en cache des prompts
cache_control d’Anthropic, mise en cache automatique d’OpenAI, contexte de Gemini — les mécanismes diffèrent. Nous fournissons une stratégie de cache unifiée.
Adaptation des tokens de raisonnement
Les formats de sortie d’o1 / Claude thinking / DeepSeek R1 diffèrent. Nous nous adaptons au protocole de tokens de raisonnement de chaque fournisseur.
Prise en charge des formats multimodaux
Les protocoles vision / audio / téléversement de fichiers diffèrent selon les fournisseurs. Nous unifions les formats d’entrée multimodaux.
Abstraction du modèle de facturation
La structure tarifaire de chaque fournisseur diffère. Nous l’abstrayons derrière une interface unifiée de suivi des coûts.
Normalisation de la sémantique des erreurs
Les codes et corps d’erreur de chaque fournisseur diffèrent. Nous les normalisons vers un corps d’erreur uniforme, avec z-request-id pour corréler chaque requête de bout en bout.
Flux de données : reste sur site, jamais persisté
En mode BYOK, les clés API sont stockées uniquement en mémoire de la passerelle, jamais persistées ni transmises. Les requêtes passent par la passerelle directement vers les API officielles des fournisseurs ; les données ne quittent jamais votre réseau privé.
Pourquoi ~1/7 du coût ?
Prenons une entreprise qui traite 1 milliard de tokens par jour : même charge de travail — comparez la facture « modèles de pointe de bout en bout » et « modèles de pointe pour planifier, modèles ouverts pour exécuter ».
Claude Opus 5 planifie + exécute, tout en modèles de pointe
~90 % d’exécution sur la SOTA ouverte, les 10 % critiques de planification sur les modèles de pointe
Trois sources d’économies :
- 1.BYOK sans marge sur les tokens — vous payez les fournisseurs aux tarifs standard, GateLLM ne prend aucune commission (les agrégateurs ajoutent généralement des frais de plateforme et de paiement au prix catalogue) ;
- 2.Composition — les modèles SOTA ouverts (GLM / Qwen / DeepSeek) assurent l’essentiel de l’exécution (classification, extraction, traduction), les modèles fermés de pointe (comme Claude Opus) servent uniquement à la planification et au raisonnement difficile ;
- 3.Mise en cache des prompts — les appels à haute fréquence touchent le cache, le prix unitaire baisse de 50 % à 90 %.
Les chiffres sont des modèles illustratifs fondés sur les tarifs publics ; les économies réelles dépendent des scénarios métier et des ratios de mix. Le tarif de la licence Pro de 400 $/mois (instance unique 2 Go) est inclus dans l’offre GateLLM.
Un usage visible, un coût imputable, des budgets maîtrisés
Token Ops suit qui utilise quoi ; Token FinOps transforme les tokens en argent facturable et plafonné. Un seul plan de contrôle rend les dépenses IA aussi pilotables que les dépenses cloud.
Observabilité de l’usage et des coûts
Décomposez chaque appel par modèle, clé d’accès et groupe de clés, avec les tokens d’entrée / de sortie / de cache mesurés séparément à une granularité d’une minute.
- Regroupement par modèle / clé / groupe de clés
- Entrée, sortie et cache mesurés séparément
- Séries temporelles 24 h / 7 j / 30 j / personnalisées
Admission des clients et piste d’audit
Seuls les clients que vous avez approuvés atteignent la passerelle — autorisez, limitez ou refusez selon le User-Agent. Chaque appel laisse une trace auditable pour la gouvernance des points de terminaison et les preuves de conformité.
- Contrôle d’accès client (politique User-Agent)
- Enregistrements d’appels avec rétention des journaux (Pro et supérieur)
- Intégration audit / DLP (Enterprise)
API de gestion (contrôle programmatique)
EnterpriseGérez la passerelle par API : créez / révoquez des clés API, définissez des quotas et des budgets, interrogez l’usage et les coûts, exportez les journaux d’audit — branchez-la sur vos systèmes internes d’exploitation et de facturation.
- Création / révocation programmatique de clés API
- Quotas et budgets via API
- API d’interrogation de l’usage et des coûts
- Export des journaux d’audit
Votre propre grille tarifaire et des instantanés de prix
Saisissez à la main le prix privé que vous avez négocié : il fait autorité, les actualisations du système ne l’écrasent jamais. Chaque prix couvre une fenêtre de validité : planifiez des baisses à l’avance, et les modifications ne réécrivent jamais le coût historique.
- Le prix privé épinglé prime sur l’automatique et n’est jamais écrasé
- Les instantanés prennent effet par fenêtre temporelle
- Remplir l’historique / planifier des baisses de prix
- Modes de facturation au token · par appel · par seconde
Allocation par étiquettes et refacturation
Étiquetez les clés et les groupes de clés, puis agrègez l’usage et les coûts par étiquette pour imputer les dépenses de tokens au bon centre de coûts. L’export Excel découpe le grand livre par modèle × clé pour le showback ou la refacturation interne.
- Étiquettes libres sur les clés / groupes de clés
- Agrégation de l’usage et des coûts par étiquette
- Export Excel à 6 feuilles (dont clé × modèle)
- Prêt pour le showback / la refacturation interne
Quotas et plafonds de coût
Définissez des plafonds de dépense quotidiens et mensuels par clé — évalués indépendamment sur le jour et le mois calendaires UTC, bloqués dès que l’un ou l’autre est atteint. Les quotas héritent de clé → groupe → global, en retenant le plus large entre les groupes.
- Plafonds quotidiens / mensuels, évalués indépendamment
- Héritage clé → groupe → global
- 429 quota_exceeded, Retry-After sur le quota quotidien
GateLLM vs LiteLLM
Une comparaison vérifiée à la source. GateLLM est seul à proposer plusieurs mécanismes que LiteLLM n’a pas ; les deux partagent une base établie ; quelques points diffèrent par nature. Décidez sur les deux premières couches, pas sur le bruit marketing.
Seul GateLLM le propose
Mécanismes que LiteLLM n’a pas — la ligne « comment ça marche » figure sous chaque fonctionnalité.
| Fonctionnalité | GateLLM | LiteLLM |
|---|---|---|
| Bascule conditionnelle de modèleRègles déclaratives switch-route + détection intégrée du mode plan + scripts context.useModel() — aucun changement client. LiteLLM exige des callbacks Python personnalisés. | Oui | Non |
| Mélange de modèles / SDK entre protocolesPoints d’entrée natifs de tout vers tout — appelez GPT depuis le SDK Anthropic, DeepSeek depuis le SDK Gemini. LiteLLM est centré OpenAI ; les chemins inverses passent par des cales (shims). | Oui | Non |
| Validation de configuration en une transactionPréparer → prévisualiser l’ensemble des conflits → validation atomique ; tout le lot est annulé au moindre conflit. | Oui | Non |
| Verrou dur des quotas de coûtLes cycles quotidien / mensuel renvoient 429 quota_exceeded dès que la dépense est atteinte. LiteLLM envoie uniquement des alertes de budget. | Oui | Non |
| Facturation résistante aux plantagesPré-débit → règlement → remboursement avec un grand livre en cours — correct même en cas de plantage du processus. | Oui | Non |
| Mutualisation de clés amont et liaison persistanteUn hachage pondéré FNV-1a fixe chaque appelant sur une clé et bascule vers la clé suivante non essayée ; les clés de poids 0 restent en veille. | Oui | Non |
| Trois modes de facturation + multideviseAu token / par appel / par durée, USD/CNY/EUR/JPY/GBP, dimensions personnalisées. LiteLLM ne fait que du suivi fondé sur les tokens. | Oui | Non |
| Connexion aux identifiants amont via SSOIntègre des fournisseurs sans clé statique (par exemple Kiro). LiteLLM n’accepte que des clés API statiques. | Oui | Non |
| Registre de métadonnées de capacitésPilote l’injection et la dégradation automatiques ; l’évolution des capacités d’un nouveau modèle ne nécessite aucune modification de code. | Oui | Non |
| Branche de version LTSN-1 + branche LTS (voir /lifecycle). LiteLLM ne maintient que les 4 dernières lignes mineures. | Oui | Non |
Les deux le font bien
Une base établie — l’une ou l’autre passerelle couvre cette couche. La décision se joue dans les couches au-dessus et en dessous.
| Fonctionnalité | GateLLM | LiteLLM |
|---|---|---|
| Routage API · repli · répartition de charge | Oui | Oui |
| BYOK, sans marge sur les tokens | Oui | Oui |
| Entièrement auto-hébergé, données sur site | Oui | Oui |
| Normalisation de l’appel d’outils entre fournisseurs | Oui | Oui |
| Normalisation des sorties structurées (JSON Schema) | Oui | Oui |
| Adaptation des tokens de raisonnement / réflexion | Oui | Oui |
| Mise en cache des prompts entre modèles | Oui | Oui |
| Injection de recherche web | Oui | Oui |
| Passerelle MCP (agrégation d’outils) | Oui | Oui |
| Console visuelle de configuration | Oui | Oui |
| Journaux d’audit et mesure de l’usage / des coûts | Oui | Oui |
Vérifié par rapport à la documentation officielle de chaque produit au 2026-09-04 (docs.litellm.ai / docs.gatellm.io). Certaines capacités de LiteLLM nécessitent une licence Enterprise ; les détails peuvent évoluer — consultez les sources avant tout achat.
Les secrets et les données personnelles sont détectés à l’entrée — vous décidez de la suite.
Un moteur de règles déterministe inspecte chaque requête de modèle à la recherche de formats d’identifiants et de données personnelles, et consigne ce qu’il a trouvé sans enregistrer le secret lui-même. Les règles intégrées sont livrées désactivées et en mode observation ; vous les activez et choisissez journaliser, masquer ou bloquer selon la portée. Aucun modèle n’intervient dans le chemin de détection.
Détection déterministe, aucun modèle dans le chemin
Déterministe par construction : d’abord des sondes littérales, puis des règles regex exigeant des mots de contexte, puis des validateurs de somme de contrôle — Luhn pour les numéros de carte, mod-97 pour l’IBAN, la somme de contrôle des pièces d’identité nationales, les blocs de clés privées PEM et OpenSSH, l’IPv4.
- Formats d’identifiants : clés API de fournisseurs de modèles, clés d’accès cloud, jetons GitHub et GitLab, JWT, clés privées PEM et OpenSSH, jetons Slack
- Classes de données personnelles : numéros de mobile de Chine continentale, pièces d’identité nationales, numéros de carte bancaire, IBAN, adresses e-mail, adresses IPv4
- Les conversations multi-tours ne scannent que le nouveau contenu — une chaîne de hachage de curseur évite à une longue session de réanalyser un texte déjà validé
Un masquage que votre client peut traverser ; un blocage qui ne fuit rien
En mode masquage, le modèle amont reçoit des espaces réservés numérotés et votre client récupère les valeurs réelles — y compris la restauration image SSE par image pendant la diffusion. En mode blocage, le refus porte la catégorie de règle et un identifiant de requête, jamais le texte correspondant.
- L’amont voit des espaces réservés ; la partie qui possède les données voit revenir ses propres valeurs
- Les longs collages ne sont pas exemptés — les chaînes surdimensionnées sont débordées sur disque et scannées par fenêtres de taille fixe, pour que la mémoire reste stable quelle que soit la taille de la charge utile
- La liste d’autorisation correspond par valeur, jamais par chemin : approuver une clé de test n’exempte pas silencieusement tout un champ
Corps de journaux : stockés tels que reçus, masqués à chaque sortie
La persistance des journaux de requêtes est désactivée dans l’image livrée. Activez-la et les corps sont stockés tels que reçus, puis masqués à chaque surface de sortie — l’API Console masque par défaut, les sorties SSE et terminal sont toujours masquées, et un échec de masquage ferme la réponse au lieu de la laisser fuir.
- Révéler le contenu brut est un acte explicite : un rôle administrateur plus un indicateur de révélation explicite, audités et comptabilisés
- Le masquage couvre les clés sensibles du corps, les paramètres sensibles de requête et d’URL, les en-têtes de schéma d’authentification statiques et personnalisés, et les valeurs de jetons bearer avec révélation partielle
- Une détection conserve un extrait masqué avec un contexte environnant borné, jamais le texte correspondant ; les détections partagent la fenêtre de rétention des journaux, 7 jours par défaut
Désactivé par défaut, à dessein
Le pack de règles intégré est livré désactivé et l’action de chaque règle intégrée est « journaliser ». C’est un déploiement sûr plutôt qu’une lacune : voyez ce qui se serait passé sur votre trafic réel, ajustez la liste d’autorisation contre vos propres faux positifs, puis activez le masquage ou le blocage là où c’est important. La politique s’applique globalement, par groupe de clés d’accès ou par clé d’accès, et les règles se rechargent à chaud.
- 1
logObserver. Les détections apparaissent dans la console avec des extraits masqués ; la requête elle-même n’est pas modifiée.
- 2
maskAppliquer, de façon réversible. L’amont voit des espaces réservés ; votre client reçoit toujours la valeur réelle.
- 3
blockRefuser. La requête est rejetée avec la catégorie de règle et un identifiant de requête — jamais le texte correspondant.
Ce que c’est, et ce que ce n’est pas
Ce que c’est
- S’exécute dans votre propre processus de passerelle, sur le chemin des requêtes de modèle, avec une portée globale / par groupe de clés d’accès / par clé d’accès
- Une page dédiée dans la console : une vue des détections pour les rôles administrateur et superviseur, une vue des règles pour les administrateurs, un interrupteur marche/arrêt avec pré-vérification du budget mémoire, rechargement à chaud et entrées d’audit
- Un point de terminaison d’aperçu à blanc, pour tester une règle sur un échantillon avant de l’activer
- Chaque détection est traçable jusqu’au nom de règle, à la catégorie, à la gravité, à l’action appliquée, au nombre de correspondances, au modèle et au nom de la clé d’accès
Ce que ce n’est pas
- Aucune détection du contenu des réponses — le volet réponse ne fait que restaurer les espaces réservés
- Aucun ML, aucune détection de jailbreak ou d’injection de prompt, aucune API de modération : les règles sont déterministes
- Aucun ré-audit hors ligne — un contenu non scanné au moment de la requête ne l’est pas plus tard
- Ce n’est pas une suite DLP : aucune couverture des points de terminaison, des e-mails ou d’autres canaux de sortie
- Aucun détecteur de passeport, de numéro de sécurité sociale, de nom ou d’adresse, et les lacunes résiduelles connues sont documentées — les médias encodés en base64 sont ignorés, et un espace réservé coupé entre deux images de flux passe sans modification
Ce que vous obtenez réellement.
Les trois points qui intéressent les services achats, réglés avant le prix : un DPA que le juridique peut signer, une facture qui ne peut pas s’emballer, et des prompts qui ne nous parviennent jamais.
Un DPA que votre service juridique peut signer
Prêt pour le RGPD et le CCPA, avec un DPA que votre service juridique peut réellement signer. Auto-hébergé — les données ne quittent jamais votre périmètre — avec SSO entreprise (OIDC / SAML 2.0) et provisionnement SCIM 2.0 inclus.
Une facture qui ne peut pas s’emballer
BYOK : payez les fournisseurs aux tarifs standard — sans marge sur les tokens, sans frais par siège. Des plafonds de quota durs par clé et par projet empêchent un script qui s’emballe de dépasser votre budget.
Vos prompts ne nous parviennent jamais
Entièrement auto-hébergé — vos prompts et complétions n’entrent jamais dans nos systèmes. Les clés BYOK résident uniquement en mémoire de la passerelle ; les requêtes vont directement aux API des fournisseurs, sans jamais quitter votre réseau.
Entièrement auto-hébergé · Instance unique 2 Go · Jamais de marge sur les tokens
BYOK (apportez vos propres clés) — vous payez les fournisseurs aux tarifs standard. Nous licencions une instance unique de 2 Go, jamais par siège ni avec une marge sur les tokens. Une mémoire supérieure ou plusieurs instances passent par Enterprise.
Inclus dans toutes les offres : BYOK sans marge sur les tokens · routage vers plus de 100 fournisseurs · contrôle d’accès client · cache de prompts · quotas de coût
Gratuit
Entièrement auto-hébergé · Licence unique
Instance unique de 512 Mo, aucune rétention de journaux — adapté à l’évaluation et aux POC, pas au trafic de production.
- ✓Routage vers plus de 100 LLM · Repli · Répartition de charge
- ✓Mélange de modèles entre fournisseurs · rétrogradation dans l’agent (plan verrouillé / rétrogradation automatique hors plan)
- ✓Contrôle d’accès client (politique User-Agent)
- ✓Cache de prompts
- ✓BYOK (apportez vos propres clés, sans marge)
- ✓Plafond mémoire de 512 Mo · SQLite · instance unique
- ✓Revue de code GitHub Actions via votre propre passerelle
- ✓Aucune rétention de journaux
Pro
par mois · instance unique de 2 Go (plafond fixe) · essai gratuit de 21 jours
Plafond fixe de 2 Go, sans extension. Pour plusieurs nœuds, la conformité (Audit/DLP) ou l’API de gestion, passez à Enterprise.
- ✓Toutes les fonctionnalités de l’offre Gratuit
- ✓Mémoire de 2 Go · instance unique (plafond fixe, sans extension)
- ✓Rétention des journaux
- ✓SSO entreprise (OIDC : Azure AD / Okta / générique, plus SAML 2.0 + SCIM)
- ✓PostgreSQL · mémoire de 2 Go
- ✓Support par e-mail / ticket
Remboursement à 100 % sous 30 jours en cas d’insatisfaction
Enterprise
Selon la capacité mémoire · Facturé annuellement · Remboursement 30 jours
- ✓Toutes les fonctionnalités de Pro
- ✓Facturation à la capacité (nœuds × mémoire, forfait 400 $/Go/mois)
- ✓Déploiement multi-nœuds / en cluster
- ✓Revue de code GitHub Actions via votre propre passerelle
- ✓Complément Microsoft 365 (Excel/Word/PPT/Outlook, extension payante)
- ✓Rétention des journaux étendue
- ✓Délai de réponse du support prioritaire
- ✓Conformité (Audit / DLP)
- ✓API de gestion (clé API · quota · interrogation de l’usage · export d’audit)
Besoin de plus de capacité ou d’une configuration sur mesure ? Nous contacter →
Comparaison des fonctionnalités
| Fonctionnalité | Gratuit | Pro | Enterprise |
|---|---|---|---|
| Routage multi-modèles · Repli · Répartition de charge | ✓ | ✓ | ✓ |
| Mélange de modèles entre fournisseurs (planification/exécution par fournisseur) | ✓ | ✓ | ✓ |
| Rétrogradation de modèle dans l’agent (plan verrouillé / rétrogradation automatique hors plan) | ✓ | ✓ | ✓ |
| Cache de prompts | ✓ | ✓ | ✓ |
| BYOK (apportez vos propres clés, sans marge) | ✓ | ✓ | ✓ |
| Palier de mémoire | 512 Mo | 2 Go (fixe) | Sur mesure |
| Stockage / base de données | SQLite (instance unique) | PostgreSQL · 2 Go | PostgreSQL + cluster Redis |
| Échelle de déploiement | 1 instance | 1 instance · 2 Go | Multi-nœuds / cluster |
| Débit par Go (référence) | — | 2 Go ≈ 200 M TPM / 1 000 RPM | ≈ 100 M TPM / 500 RPM par Go |
| Rétention des journaux | Aucune | Conservés | Rétention étendue |
| SSO (OIDC / SAML 2.0) | — | ✓ | ✓ |
| Provisionnement automatique SCIM 2.0 | — | ✓ | ✓ |
| Conformité (Audit / DLP) | — | — | ✓ |
| API de gestion (clé · quota · usage · audit programmatiques) | — | — | ✓ |
| Grille tarifaire propre / instantanés de prix (dont tarification privée) | ✓ | ✓ | ✓ |
| Quotas de coût (quotidiens / mensuels, héritage à trois niveaux) | ✓ | ✓ | ✓ |
| Délai de réponse du support | Communauté | E-mail / ticket | Réponse prioritaire |
| Politique de modèles selon le mode (plan/exécution, opposable) | ✓ | ✓ | ✓ |
| Contrôle d’accès client (politique User-Agent) | ✓ | ✓ | ✓ |
| Revue de code GitHub Actions (via votre passerelle) | ✓ | ✓ | ✓ |
| Complément Microsoft 365 (Excel/Word/PPT/Outlook, auto-hébergé) | — | Extension | Extension |
| Blocage par étiquette de confidentialité Purview (addin.access / file.upload) | — | — | ✓ |