Pourquoi l'IA bouscule le FinOps
Selon le State of FinOps 2026, 98 % des équipes FinOps gèrent désormais la dépense d'IA, contre 31 % deux ans plus tôt. Et Flexera relie la première hausse du gaspillage cloud depuis cinq ans à l'usage de l'IA. Trois raisons :
- Une facturation nouvelle : au token, en entrée et en sortie, avec des prix très différents d'un modèle à l'autre.
- Une consommation imprévisible : un nouveau cas d'usage, une boucle d'agents ou un prompt trop long peuvent multiplier la facture en quelques jours.
- Une valeur difficile à mesurer : sans coût par usage, impossible de dire si un cas d'usage est rentable.
Les modes de paiement
| Mode | Principe | Quand le choisir |
|---|---|---|
| À l'usage (par token) | Prix par million de tokens en entrée et en sortie | Démarrage, charge variable |
| Capacité provisionnée | Débit réservé à l'heure ou au mois (PTU sur Azure OpenAI, provisioned throughput sur Bedrock) | Charge forte et régulière, besoin de latence garantie |
| Batch | Traitement asynchrone, environ 50 % moins cher que le temps réel sur les modèles éligibles | Tout ce qui n'a pas besoin d'une réponse immédiate : classement, résumés, extraction |
Les leviers d'optimisation
- Le bon modèle pour chaque tâche. Un petit modèle suffit souvent pour classer, extraire ou router ; réservez les grands modèles aux tâches qui en ont besoin.
- Des réponses bornées. Limitez la longueur des réponses et nettoyez les prompts : chaque token compte, en entrée comme en sortie.
- Le cache de prompt. Quand un long contexte revient à chaque appel, le mettre en cache réduit fortement le coût des tokens d'entrée.
- Le batch pour les traitements de masse non urgents.
- La capacité provisionnée seulement quand la charge est stable et mesurée, comme une réservation.
- Les GPU : arrêt automatique des machines d'entraînement et de test, Spot pour les traitements interruptibles, scale to zero des endpoints peu sollicités.
Les garde-fous à poser dès le premier jour
- Un tag ou un déploiement par cas d'usage, pour savoir qui consomme quoi.
- Des quotas et des limites de débit par application.
- Des budget alerts quotidiennes sur les ressources d'IA : une alerte mensuelle arrive trop tard.
- Un coût par usage suivi dans le dashboard : coût par conversation, par document, par utilisateur actif.
C'est la même logique que pour le reste du cloud : comprendre, optimiser, opérer, garder le contrôle. Avec un rythme beaucoup plus rapide.