La technologie d’intelligence artificielle derrière ChatGPT a été construite dans l’Iowa – avec beaucoup d’eau

DES MOINES, Iowa (AP) — Le coût de création d’un produit d’intelligence artificielle comme ChatGPT peut être difficile à mesurer.

Mais une chose dont OpenAI, soutenu par Microsoft, avait besoin pour sa technologie, c’était beaucoup d’eau, puisée dans le bassin versant des rivières Raccoon et Des Moines, dans le centre de l’Iowa, pour refroidir un puissant superordinateur qui aidait ses systèmes d’IA à apprendre à imiter l’écriture humaine.

Alors qu’ils s’efforcent de tirer parti de l’engouement pour l’IA générative, les principaux développeurs technologiques, notamment Microsoft, OpenAI et Google, ont reconnu que la demande croissante pour leurs outils d’IA entraîne des coûts élevés, allant des semi-conducteurs coûteux à l’augmentation de la consommation d’eau.

Mais ils restent souvent secrets sur les détails. Peu de gens dans l’Iowa connaissaient son statut de berceau du grand modèle de langage le plus avancé d’OpenAI, GPT-4, avant qu’un haut dirigeant de Microsoft ne déclare dans un discours qu’il “a été littéralement créé à côté de champs de maïs à l’ouest de Des Moines”.

Construire un grand modèle de langage nécessite d’analyser des modèles dans un immense trésor de textes écrits par des humains. Toute cette informatique consomme beaucoup d’électricité et génère beaucoup de chaleur. Pour rester frais pendant les journées chaudes, les centres de données doivent pomper de l’eau, souvent vers une tour de refroidissement située à l’extérieur de leurs bâtiments de la taille d’un entrepôt.

Dans son dernier rapport environnemental, Microsoft a révélé que sa consommation mondiale d’eau a grimpé de 34 % entre 2021 et 2022 (pour atteindre près de 1,7 milliard de gallons, soit plus de 2 500 piscines olympiques), une forte augmentation par rapport aux années précédentes à laquelle des chercheurs extérieurs attribuent ses recherches en IA.

“Il est juste de dire que la majorité de la croissance est due à l’IA”, y compris “son investissement massif dans l’IA générative et son partenariat avec OpenAI”, a déclaré Shaolei Ren, chercheur à l’Université de Californie à Riverside, qui a tenté de calculer le l’impact environnemental des produits d’IA générative tels que ChatGPT.

Dans un article qui devrait être publié plus tard cette année, l’équipe de Ren estime que ChatGPT avale 500 millilitres d’eau (presque ce qu’il y a dans une bouteille d’eau de 16 onces) chaque fois que vous lui posez une série de 5 à 50 invites ou questions. La gamme varie en fonction de l’endroit où se trouvent ses serveurs et de la saison. L’estimation inclut la consommation indirecte d’eau que les entreprises ne mesurent pas, par exemple pour refroidir les centrales électriques qui alimentent les centres de données en électricité.

“La plupart des gens ne sont pas conscients de l’utilisation des ressources sous-jacentes à ChatGPT”, a déclaré Ren. “Si vous n’êtes pas conscient de l’utilisation des ressources, nous ne pouvons en aucun cas contribuer à préserver les ressources.”

Google a signalé une croissance de 20 % de sa consommation d’eau au cours de la même période, ce que Ren attribue également en grande partie à ses travaux en matière d’IA. La hausse de Google n’était pas uniforme : elle était stable dans l’Oregon, où sa consommation d’eau a attiré l’attention du public, tout en doublant en dehors de Las Vegas. L’Iowa avait également soif et aspirait plus d’eau potable vers ses centres de données de Council Bluffs que partout ailleurs.

En réponse aux questions de l’Associated Press, Microsoft a déclaré cette semaine dans un communiqué qu’il investissait dans la recherche pour mesurer l’empreinte énergétique et carbone de l’IA “tout en travaillant sur les moyens de rendre les grands systèmes plus efficaces, à la fois dans la formation et dans les applications”.

“Nous continuerons à surveiller nos émissions, à accélérer les progrès tout en augmentant notre utilisation d’énergie propre pour alimenter les centres de données, en achetant de l’énergie renouvelable et en faisant d’autres efforts pour atteindre nos objectifs de développement durable consistant à être carboneutre, positif en eau et zéro déchet d’ici 2030”, a déclaré le communiqué. indique le communiqué de la société.

OpenAI a fait écho à ces commentaires dans sa propre déclaration vendredi, affirmant qu’elle réfléchissait sérieusement à la meilleure utilisation de la puissance de calcul.

“Nous reconnaissons que la formation de grands modèles peut être gourmande en énergie et en eau” et nous travaillons à améliorer l’efficacité, indique-t-il.

Microsoft a réalisé son premier investissement d’un milliard de dollars dans OpenAI, basé à San Francisco, en 2019, plus de deux ans avant que la startup n’introduise ChatGPT et suscite une fascination mondiale pour les progrès de l’IA. Dans le cadre de cet accord, le géant du logiciel fournirait la puissance de calcul nécessaire à la formation des modèles d’IA.

Pour réaliser au moins une partie de ce travail, les deux sociétés se sont tournées vers West Des Moines, dans l’Iowa, une ville de 68 000 habitants où Microsoft rassemble des centres de données pour alimenter ses services de cloud computing depuis plus d’une décennie. Ses quatrième et cinquième centres de données devraient y ouvrir leurs portes plus tard cette année.

“Ils les construisent aussi vite qu’ils le peuvent”, a déclaré Steve Gaer, qui était maire de la ville lorsque Microsoft est arrivé en ville. Gaer a déclaré que l’entreprise était attirée par l’engagement de la ville à construire des infrastructures publiques et a contribué une somme d’argent « stupéfiante » sous forme de paiements d’impôts qui soutiennent cet investissement.

“Mais vous savez, ils étaient assez secrets sur ce qu’ils faisaient là-bas”, a-t-il ajouté.

Microsoft a déclaré pour la première fois qu’il développait l’un des superordinateurs les plus puissants au monde pour OpenAI en 2020, refusant de révéler son emplacement à AP à l’époque, mais le décrivant comme un « système unique » avec plus de 285 000 cœurs de semi-conducteurs conventionnels et 10 000 processeurs graphiques. – une sorte de puce devenue cruciale pour les charges de travail d’IA.

Les experts ont déclaré qu’il peut être judicieux de « pré-entraîner » un modèle d’IA en un seul endroit en raison des grandes quantités de données qui doivent être transférées entre les cœurs de calcul.

Ce n’est que fin mai que le président de Microsoft, Brad Smith, a révélé qu’il avait construit son « centre de données de supercalcul IA avancé » dans l’Iowa, exclusivement pour permettre à OpenAI de former ce qui est devenu son modèle de quatrième génération, GPT-4. Le modèle alimente désormais les versions premium de ChatGPT et certains produits propres à Microsoft et a accéléré le débat sur la maîtrise des risques sociétaux de l’IA.

“Il a été fabriqué par ces ingénieurs extraordinaires en Californie, mais il a en réalité été fabriqué dans l’Iowa”, a déclaré Smith.

D’une certaine manière, West Des Moines est un endroit relativement efficace pour former un système d’IA puissant, surtout comparé aux centres de données de Microsoft en Arizona qui consomment beaucoup plus d’eau pour la même demande informatique.

“Donc, si vous développez des modèles d’IA au sein de Microsoft, vous devriez alors planifier votre formation dans l’Iowa plutôt qu’en Arizona”, a déclaré Ren. « En termes de formation, il n’y a aucune différence. En termes de consommation d’eau ou d’énergie, il y a une grande différence.

Pendant une grande partie de l’année, le temps dans l’Iowa est suffisamment frais pour que Microsoft puisse utiliser l’air extérieur pour assurer le bon fonctionnement du supercalculateur et évacuer la chaleur du bâtiment. Ce n’est que lorsque la température dépasse 29,3 degrés Celsius (environ 85 degrés Fahrenheit) qu’elle retire de l’eau, a déclaré l’entreprise dans un communiqué public.

Cela peut encore représenter beaucoup d’eau, surtout en été. En juillet 2022, le mois avant qu’OpenAI n’annonce avoir terminé sa formation sur GPT-4, Microsoft a pompé environ 11,5 millions de gallons d’eau vers son cluster de centres de données de l’Iowa, selon West Des Moines Water Works. Cela représentait environ 6 % de toute l’eau utilisée dans le quartier, qui approvisionne également en eau potable les habitants de la ville.

En 2022, un document de West Des Moines Water Works indiquait que l’entreprise et le gouvernement de la ville « n’envisageront les futurs projets de centres de données » de Microsoft que si ces projets peuvent « démontrer et mettre en œuvre une technologie permettant de réduire considérablement la consommation d’eau de pointe par rapport aux niveaux actuels » pour préserver l’approvisionnement en eau pour les besoins résidentiels et autres besoins commerciaux.

Microsoft a déclaré jeudi qu’il travaillait directement avec les usines d’eau pour répondre à ses commentaires. Dans une déclaration écrite, la compagnie des eaux a déclaré que l’entreprise était un bon partenaire et qu’elle travaillait avec les autorités locales pour réduire son empreinte hydrique tout en répondant à ses besoins.