Entraîner ChatGPT ou Gemini : pourquoi la facture de l’IA s’envole

Les assistants conversationnels donnent l’impression d’être immatériels. Pourtant, avant de rédiger un texte, de résumer un document ou de produire du code, un modèle comme ceux qui alimentent ChatGPT ou Gemini a dû passer par une phase d’entraînement extrêmement matérielle : des milliers de processeurs travaillent pendant des semaines ou des mois dans des centres de données. Cette course au calcul transforme l’intelligence artificielle en industrie lourde du numérique, avec des factures qui se comptent désormais en centaines de millions de dollars.

Le prix exact reste difficile à connaître. OpenAI, Google et la plupart de leurs concurrents ne publient pas le détail de leurs dépenses. Les montants avancés reposent donc sur des estimations, des déclarations de dirigeants et des calculs réalisés à partir des infrastructures mobilisées. Ils sont utiles pour comprendre l’ordre de grandeur, mais ne constituent pas des comptes certifiés.

Pourquoi l’entraînement d’une IA coûte-t-il si cher ?

Entraîner un grand modèle de langage consiste à lui faire traiter d’immenses quantités de textes, d’images, de code ou d’autres données afin qu’il apprenne à prévoir la suite la plus probable d’une séquence. Le principe est simple à énoncer, mais l’opération impose de répéter ce calcul un nombre colossal de fois, sur des machines spécialisées.

Les puces graphiques, ou GPU, sont au cœur de cette activité. Initialement conçues pour accélérer le rendu des images, elles savent aussi effectuer en parallèle les opérations mathématiques nécessaires aux réseaux de neurones. Pour les modèles les plus avancés, une seule puce ne suffit évidemment pas : il faut constituer et synchroniser de vastes grappes de GPU, reliées par des réseaux très rapides.

La facture d’un entraînement inclut généralement plusieurs postes :

• l’achat ou la location des GPU et des serveurs ;
• l’accès à l’infrastructure de cloud, aux réseaux et au stockage ;
• l’électricité consommée par les machines ;
• le refroidissement nécessaire pour éviter leur surchauffe ;
• le travail des équipes qui conçoivent le modèle, préparent les données, testent ses réponses et assurent son exploitation.

Le prix unitaire de certains GPU de pointe est alors couramment avancé entre 30 000 et 40 000 dollars. Mais réduire l’entraînement à la multiplication de ce tarif par le nombre de puces serait trompeur. Le coût dépend aussi de la durée de calcul, du rendement de l’infrastructure, des pannes éventuelles, de la localisation des centres de données et du fait que les entreprises possèdent leurs équipements ou les louent.

De quelques millions à plusieurs centaines de millions de dollars

La croissance des dépenses est particulièrement rapide. Selon des estimations consacrées aux modèles dits de frontière, c’est-à-dire les systèmes les plus ambitieux de leur époque, le coût d’entraînement a augmenté selon un facteur moyen de 2,4 par an depuis 2016. En pratique, cette dynamique peut rapidement éloigner les laboratoires disposant de moyens limités de la compétition sur les modèles généralistes les plus grands.

Les montants rendus publics ou reconstitués doivent être lus comme des ordres de grandeur. Ils illustrent toutefois le changement d’échelle intervenu entre les premières générations de grands modèles et les systèmes mis en avant depuis 2023.

Dario Amodei, directeur général d’Anthropic, a ainsi évoqué un coût actuel autour de 100 millions de dollars et la possibilité de modèles atteignant le milliard de dollars. Sa projection d’investissements futurs allant de 10 à 100 milliards de dollars ne décrit pas une dépense déjà constatée : elle souligne l’ampleur que pourrait prendre la compétition si la taille des infrastructures continue d’augmenter.

Le prix de l’entraînement n’est pas le coût complet d’un assistant

Un montant d’entraînement élevé ne résume pas à lui seul l’économie d’un service d’IA. Une fois le modèle créé, il faut continuer à le faire fonctionner pour chaque requête envoyée par les utilisateurs. Cette étape, appelée inférence, mobilise elle aussi des serveurs, de l’électricité, du réseau, de la maintenance et des dispositifs de sûreté.

À l’inverse, un modèle coûteux à entraîner peut ensuite être réemployé pour un très grand nombre de requêtes. L’enjeu économique consiste donc à répartir la dépense initiale sur des usages suffisamment nombreux et, idéalement, rémunérateurs. C’est l’une des raisons pour lesquelles les entreprises multiplient les abonnements, les interfaces de programmation et les offres destinées aux organisations.

Une équation économique encore incertaine

L’augmentation des investissements fait naître une question directe : les revenus de l’IA générative pourront-ils suivre le rythme des dépenses en infrastructures ? David Cahn, analyste chez Sequoia Capital, a mis en garde contre le risque d’un décalage financier. Dans son raisonnement, les grandes entreprises technologiques devraient générer environ 600 milliards de dollars de revenus annuels pour justifier certains niveaux d’investissement envisagés dans l’écosystème de l’IA.

Même en supposant que plusieurs grands acteurs tirent chacun 10 milliards de dollars de revenus annuels de l’intelligence artificielle, un écart de 500 milliards de dollars resterait, selon cette analyse, à combler. Il ne s’agit pas d’une prévision mécanique de pertes ni d’une certitude qu’une bulle éclatera. C’est un avertissement sur le niveau de monétisation que devrait atteindre le marché pour rentabiliser des infrastructures aussi coûteuses.

Cette pression explique l’intérêt pour des méthodes capables de réduire la quantité de calcul nécessaire. Google DeepMind a notamment présenté JEST, pour « Joint Example Selection and Training ». L’idée est de sélectionner plus efficacement les exemples utilisés pendant l’apprentissage afin de ne pas consacrer autant de ressources à des données moins utiles. Cette approche pourrait réduire les calculs nécessaires jusqu’à dix fois dans certains cas présentés par ses concepteurs.

La sobriété peut aussi venir de modèles plus petits, conçus pour une tâche précise, de techniques de compression ou de la réutilisation d’un modèle existant plutôt que de l’entraînement intégral d’un nouveau système. Ces solutions ne remplacent pas forcément les très grands modèles généralistes, mais elles peuvent éviter de mobiliser une puissance disproportionnée pour chaque usage.

Électricité, refroidissement et eau : l’autre facture de l’IA

L’entraînement concentre d’énormes besoins énergétiques sur une période limitée. Les serveurs chauffent, et leur refroidissement est indispensable à la fiabilité des équipements. La consommation électrique dépend notamment du matériel employé, de l’efficacité du centre de données et de la source d’énergie locale.

L’eau est une autre ressource essentielle, mais moins visible. Elle peut être utilisée directement dans les systèmes de refroidissement ou indirectement lors de la production de l’électricité nécessaire aux serveurs. Une étude américaine a estimé que 20 à 50 questions posées à GPT-3 pouvaient correspondre à environ une bouteille de 50 cl d’eau consommée pour le refroidissement, selon les conditions d’exploitation. Ce chiffre ne doit pas être interprété comme un compteur exact appliqué à chaque conversation : il varie fortement selon le lieu, la période, le centre de données et le système de refroidissement.

Les projections sont néanmoins saisissantes. La consommation d’eau douce liée à l’IA pourrait atteindre entre 4 et 6,5 milliards de mètres cubes d’ici 2027, soit un volume considérable, comparable dans l’estimation citée au prélèvement annuel du Danemark. Cette projection concerne l’essor de l’IA au sens large, et non le seul entraînement d’un modèle donné.

Le supercalculateur français Jean Zay illustre l’importance de ces choix techniques. Son infrastructure recourt à un refroidissement à eau et à la récupération de chaleur. Des solutions de refroidissement plus performantes, notamment développées par Atos, sont également présentées comme susceptibles de diminuer les coûts énergétiques de l’ordre de 20 à 30 %. Les gains annoncés dépendent toutefois de la configuration technique et ne dispensent pas de mesurer l’usage réel des installations.

Le nucléaire et les centres de données, une réponse discutée

Face à l’explosion anticipée des besoins électriques, les groupes technologiques cherchent à sécuriser des approvisionnements bas carbone. En septembre 2024, Microsoft a conclu un accord avec Constellation Energy pour soutenir la remise en service d’une unité de la centrale de Three Mile Island, en Pennsylvanie, avec un objectif de fonctionnement en 2028.

L’accord doit permettre à Microsoft d’acheter la production électrique de l’installation sur le long terme. Il ne signifie pas qu’une centrale alimentera physiquement et exclusivement un centre de données précis : l’électricité passe par le réseau. Il montre en revanche l’ampleur des contrats énergétiques désormais envisagés pour répondre aux besoins des infrastructures numériques.

Cette stratégie nourrit le débat. Le nucléaire peut fournir une électricité pilotable et pauvre en émissions de carbone lors de sa production, mais la réouverture d’un site, son coût, son acceptabilité et la gestion de ses risques restent des sujets majeurs. Pour Microsoft, qui affiche des objectifs de réduction de ses émissions de CO2, ce choix illustre la difficulté de concilier croissance rapide du calcul et engagements climatiques.

La transparence, un enjeu pour éviter une IA réservée à quelques groupes

Les coûts d’entraînement soulèvent aussi une question de concurrence. Si seuls quelques groupes mondiaux peuvent financer des grappes de GPU valant des centaines de millions de dollars, ils risquent de concentrer la capacité à développer les modèles les plus puissants. Universités, laboratoires publics, jeunes entreprises et acteurs européens peuvent difficilement rivaliser sur ce terrain sans accès partagé à des infrastructures de calcul.

Aux États-Unis, le décret présidentiel sur l’intelligence artificielle signé par Joe Biden en octobre 2023 prévoyait notamment de faciliter l’accès des chercheurs à des ressources de calcul et à des données, afin de limiter cette concentration. L’objectif est de soutenir la recherche ouverte sans exiger que chaque équipe construise sa propre infrastructure géante.

La transparence sera tout aussi importante pour le public. Aujourd’hui, les entreprises révèlent rarement le nombre de puces utilisées, la durée exacte des entraînements, la consommation d’électricité, l’origine de cette énergie ou les volumes d’eau associés. Sans données comparables, il est difficile d’évaluer les progrès réels accomplis en matière d’efficacité.

Ce qu’il faut surveiller

La question n’est pas seulement de savoir quel modèle sera le plus performant. Elle est aussi de déterminer si la performance supplémentaire justifie les ressources engagées. Le secteur devra démontrer que des investissements de plusieurs centaines de millions, voire de plusieurs milliards de dollars, peuvent créer une valeur durable pour les entreprises et les utilisateurs.

Trois évolutions seront particulièrement décisives : l’amélioration de l’efficacité des puces et des algorithmes, la capacité des entreprises à rentabiliser leurs services sans multiplier inutilement les calculs, et la publication d’indicateurs crédibles sur l’énergie, l’eau et les émissions associées. L’IA générative ne deviendra pas sobre par défaut. Sa trajectoire dépendra de choix techniques, économiques et politiques faits dès la conception des modèles et des centres de données qui les font tourner.