Visibilité et imputation de l’usage des tokens : sachez ce que chaque agent dépense
Décomposez chaque appel par clé d’accès, groupe de clés et modèle — tokens d’entrée, de sortie et de cache mesurés séparément à une granularité d’une minute, pour que « qui brûle l’argent » cesse d’être une supposition.
Ce dont la communauté se plaint réellement
Un piège classique de l’ère des agents : une clé API partagée entre une douzaine d’outils, d’agents et de collègues, et la facture de fin de mois n’est qu’un seul chiffre. Demandez « quel agent brûle l’argent » ou « quel modèle a mangé 80 % des dépenses » et vous voilà à exporter des journaux bruts et à les recoller à la main.
Les clés partagées rendent l’usage et le coût non imputables, donc les revues budgétaires et la facturation interne n’ont jamais lieu.
Comment GateLLM procède
GateLLM fait atterrir l’usage et le coût de chaque appel sur des dimensions décomposables : la page de statistiques regroupe par modèle, clé d’accès et groupe de clés, mesure séparément les tokens d’entrée / sortie / cache et persiste à une granularité d’une minute.
La page de facturation découpe le coût mensuel par clé d’accès et se déploie jusqu’au détail par modèle ; l’export Excel produit 6 feuilles, dont clé d’accès × modèle.
5 leviers qui portent réellement
- Regroupement par modèle / access_key / access_key_group, extensible au détail
- Tokens d’entrée, de sortie et de cache mesurés séparément, avec latence et taux de réussite
- Persistance à la minute ; plages 24 h / 7 j / 30 j / personnalisées avec séries temporelles à granularité automatique
- Coût mensuel décomposé par clé d’accès, extensible par modèle, avec totaux
- Export Excel à 6 feuilles : modèle / clé d’accès / groupe de clés / clé × modèle / jour / semaine