Cas d’usage des passerelles IA
Organisés par « ce que vous voulez accomplir » — des capacités de passerelle transformées en plans d’action, chacun renvoyant au guide pas à pas complet dans la documentation.
Ces cas d’usage proviennent de ce que les développeurs et architectes demandent réellement sur Reddit, StackOverflow et Zhihu — coût, haute disponibilité, multi-locataire, conformité/audit et dépannage. Chacun relie les points de douleur de la communauté aux capacités de GateLLM et renvoie au guide complet et à la référence de configuration dans la documentation.
Réduire le coût des LLM
Problème: La facture mensuelle arrive, et c’est là que vous découvrez avoir brûlé 10 000 $
Solution: BYOK sans marge sur les tokens + Composition + imputation des coûts en temps réel
Haute disponibilité
Problème: Une panne de fournisseur met toute l’application à terre
Solution: Bascule multi-nœuds + repli entre fournisseurs + état partagé entre instances
Isolation multi-locataire
Problème: Une clé API partagée, aucune idée de qui a dépensé quoi
Solution: Groupes de clés + Header ACL + limitation de débit et facturation par locataire
Conformité et audit
Problème: Les données ne peuvent pas quitter le pays, les données personnelles doivent être masquées, des journaux d’audit sont exigés
Solution: Auto-hébergé + détection des secrets sur le chemin de la requête + journaux masqués à la sortie + rétention
Diagnostiquer par symptôme
Problème: La diffusion a cassé / 429 / 502, aucune idée de l’endroit où ça bloque
Solution: Traçage de bout en bout par z-request-id + codes d’erreur normalisés
Pile de modèles multi-fournisseurs mixte
Problème: Claude Code sur Opus de bout en bout coûte trop cher ; passer à Sonnet dégrade la planification
Solution: Épinglez les meilleurs modèles par rôle d’agent entre fournisseurs, sans changement client
L’IA dans Office, les données restent internes
Problème: Copilot fait transiter contrats et modèles financiers par le cloud ; les fichiers sensibles ne peuvent pas quitter le réseau
Solution: Complément Office auto-hébergé relié à votre propre passerelle, sans dépendance SaaS
Visibilité et imputation de l’usage des tokens
Problème: Une clé partagée par une douzaine d’agents — vous ne pouvez que deviner qui brûle l’argent
Solution: Décomposez l’usage et les coûts par personne / clé / groupe de clés × modèle
Transformer les dépenses IA en grand livre imputable
Problème: Le prix catalogue du fournisseur n’est pas votre coût réel, et il ne peut pas être refacturé aux équipes
Solution: Grille tarifaire propre + allocation par étiquettes + quotas de coût quotidiens/mensuels
Gouvernance des outils MCP
Problème: Des agents reliés à une pile de serveurs MCP, aucun contrôle sur qui peut appeler quel outil
Solution: Point de terminaison /mcp unifié + ACL au niveau des outils + audit des appels
Recherche web pour chaque modèle
Problème: Les modèles ouverts n’ont pas de recherche ; monter un RAG rien que pour ça est trop lourd
Solution: Injection de recherche par la passerelle + blocs de recherche natifs + non facturée
Rotation et veille de plusieurs clés
Problème: Une clé atteint sa limite de 429 et l’activité attend
Solution: Plusieurs clés pondérées + liaison persistante + clés en veille
Contrôle d’admission des clients connectés
Problème: Une clé qui fuit permet à n’importe quel client — un script, un SDK concurrent, un scraper — de parler à vos modèles
Solution: Règles Header ACL : autoriser/refuser selon l’en-tête de requête, aux portées globale / groupe / clé
Imposer le modèle que les agents utilisent réellement
Problème: Un développeur bascule Claude Code sur Opus pour résumer un journal de modifications, et personne ne peut l’en empêcher
Solution: Liste d’autorisation d’entrée + mappage fourre-tout + script de séparation par mode plan
Aucun choix de modèle côté client
Problème: Chacun a un modèle différent dans ses réglages, donc le même prompt donne des résultats différents
Solution: Un seul nom de modèle côté client ; la passerelle répartit automatiquement par plan vs exécution
Un protocole, n’importe quel modèle
Problème: Chaque fournisseur supplémentaire signifie un SDK, un schéma d’authentification, un format de streaming et une grammaire d’appel d’outils de plus
Solution: Quatre familles de protocoles de chat traduisent de tout vers tout ; le client garde le SDK qu’il utilise déjà