Data / IA
L’IA coûte deux fois trop cher. Et pas pour la raison que vous croyez…
Par La rédaction, publié le 03 août 2026
Les coûts de l’IA explosent, mais pas seulement à cause des modèles ou des tokens. Derrière la facture, une grande part du gaspillage se joue bien plus en amont, dans des infrastructures GPU massivement surprovisionnées et encore mal pilotées.
Par Laurent Gil, cofondateur et président de Cast AI, membre fondateur de la Tokenomics
Les GPU déployés dans les clusters Kubernetes des entreprises tournent en moyenne à 5 % de leur capacité. Chiffre mesuré en production, sur des millions de workloads réels. Pendant ce temps, Uber brûle son budget IA annuel en quatre mois, et Carter Busse, DSI de Workato, voit sa dépense multipliée par sept le jour où son fournisseur bascule en facturation à la consommation. Tout le monde paie trop. Personne ne sait exactement pourquoi.
Les chiffres d’utilisation des infrastructures IA vont dans la mauvaise direction depuis trois ans. Sur des dizaines de milliers de clusters mesurés en production sur AWS, Azure et GCP, le taux d’utilisation du CPU est tombé à 8 % en 2025, contre 10 % l’année précédente. La mémoire recule de 23 % à 20 %. Les GPU s’établissent à 5 % d’utilisation effective.
Pendant que les équipes se battent pour sécuriser des capacités GPU auprès des hyperscalers, que les délais s’allongent et que les prix montent, 95 % de la capacité déjà provisionnée reste inactive. On finance des infrastructures de pointe qui passent l’essentiel de leur temps à attendre une charge qui n’arrive jamais à l’échelle prévue.
Pourquoi le surprovisionnement empire avec l’échelle
La mécanique est structurelle, et elle s’aggrave avec l’échelle. Kubernetes traite le GPU comme une ressource indivisible : par défaut, une carte entière est allouée à un pod, qu’il en ait besoin ou non. Les autoscalers provisionnent des nœuds en fonction des ressources demandées, pas de l’utilisation réelle. Quand les équipes surdimensionnent leurs requêtes par précaution, l’autoscaler ajoute des nœuds en conséquence. Une boucle de rétroaction s’installe, qui s’amplifie à chaque nouveau déploiement, à chaque chart Helm répliqué d’un environnement à l’autre sans réévaluation.
La part de CPUs sur-demandés est passée de 40 % à 69 % en un an. La mémoire sur-demandée atteint 79 %. Les organisations paient pour une infrastructure que leurs workloads ne sollicitent même pas.
Ce qui change avec les GPUs, c’est l’enjeu financier. Un cœur CPU inutilisé coûte quelques centimes par heure. Un GPU inutilisé coûte plusieurs euros. Et pour la première fois depuis le lancement d’EC2 en 2006, les prix des GPUs augmentent au lieu de baisser : AWS a relevé de 15 % le prix des Capacity Blocks de H200 en janvier 2026. La logique de rétention de capacité, compréhensible en période de pénurie, alimente elle-même cette pénurie et contribue à faire monter les prix.
Un deuxième gaspillage, invisible celui-là
Au FinOps X 2026 à San Diego, une projection a mis la salle dans le silence : 120 quadrillions de tokens consommés dans les trois prochaines années, contre 6 quadrillions aujourd’hui. Un facteur multiplicatif de 20x. Derrière ce chiffre, une facture qui grossit sans que personne ne la pilote vraiment.
La facture token commence avant l’appel au modèle. Elle naît dans les clusters Kubernetes, dans les noeuds GPU provisionnés pour un pic qui ne vient pas, dans les chaînes agentiques où une seule requête utilisateur déclenche vingt appels de modèle en cascade. Certaines organisations dépensent six à sept fois plus en inférence GPU qu’en cloud traditionnel, et cet écart n’apparaît sur aucune facture de fournisseur de modèle.
À cela s’ajoute un problème de routing que la plupart des organisations n’ont pas encore pris en compte. Les LLMs ne sont pas simplement différents en termes de qualité : ils sont spécialisés. Le modèle pertinent pour une tâche de génération de code complexe n’est pas celui nécessaire pour traiter une requête de classification standard. En pratique, environ 5 % des tâches d’un développeur justifient le recours à un modèle frontier. Les 95 % restants peuvent être traités par des modèles plus simples, open source ou non, sans différence perceptible sur les résultats. La quasi-totalité des organisations fait pourtant tourner leurs modèles les plus coûteux sur l’ensemble de leurs usages.
Couper n’est pas gouverner
Uber a plafonné les dépenses IA à 1 500 dollars par mois et par salarié (environ 1300 euros). Walmart limite le nombre de tokens utilisables sur sa plateforme interne. Carter Busse a mis fin à ses sessions d’innovation hebdomadaires pour les remplacer par des réunions de gestion budgétaire, orientant ses équipes vers les modèles les moins chers. Ces décisions sont compréhensibles. Elles ne résolvent rien.
Un développeur bloqué en plein débogage parce qu’il a atteint sa limite de tokens ne travaille pas plus efficacement : il s’arrête. Le coût d’une heure de travail perdue dépasse largement le coût des tokens économisés. C’est du gaspillage de productivité mesuré à la mauvaise unité.
Le bon modèle part du principe inverse : accès illimité pour les développeurs, optimisation autonome qui s’exécute en arrière-plan. Les équipes d’infrastructure absorbent la complexité économique pour que les équipes techniques n’aient jamais à y penser. Cela se traduit en pratique par quatre leviers : un rightsizing continu des workloads GPU, des instances Spot pour l’inférence avec gestion des interruptions par live migration, un autoscaling capable d’absorber les pics agentiques en quelques secondes, et un routing multi-cloud automatique vers la capacité disponible lorsqu’une région sature.
Des agents autonomes font déjà cela pour des milliers de clusters en production, sans intervention humaine. La même logique doit maintenant s’appliquer à la couche token : sélection automatique du modèle selon la nature de la tâche, évaluation du résultat, itération jusqu’au niveau de qualité requis. Le développeur définit l’outcome. L’infrastructure décide du chemin.
Le FinOps vient de changer de périmètre
La création de la Tokenomics Foundation, annoncée lors de FinOps X 2026 sous l’égide de la Linux Foundation, marque une évolution structurelle de la discipline. DevOps a apporté la responsabilité financière à la livraison logicielle. FinOps l’a étendue à l’infrastructure cloud. La tokenomics l’étend à la consommation IA, qui est déjà le premier poste de coût pour les organisations AI-native.
Ce sujet dépasse désormais les équipes techniques. Costi Perricos, responsable mondial de l’IA générative chez Deloitte, l’a formulé lors du même événement : les coûts de calcul entrent désormais dans les discussions de conseil d’administration. Les organisations qui bâtissent aujourd’hui une gouvernance à trois niveaux, production de tokens, sélection des modèles, valeur business, définiront les règles du jeu économique de la décennie à venir.
5 % d’utilisation GPU. C’est le chiffre à retenir. Avant de signer la prochaine commande de capacité, la vraie question est : que faites-vous des 95 % que vous payez déjà ?
Les chiffres livrés ici sont issus de : 2026 State of Kubernetes Optimization Report, Cast AI
À LIRE AUSSI :
À LIRE AUSSI :
