DeepSeek défraye la chronique en proposant un modèle dont les performances seraient comparables à celles des modèles préexistants, pour un coût très réduit en termes de puissance de calcul et de données, et donc une consommation énergétique moindre. Quand on sait que Microsoft a indiqué une hausse de 29,1 % d’émission de carbone sur l’année 2023 et que différentes grandes entreprises du numérique investissent dans des capacités de production d’électricité, le tout en lien avec l’essor de l’IA générative, l’enjeu est de taille. Pourquoi l’IA générative consomme-t-elle tant ? Décryptage.
Les grands modèles de langage (Large Language Models ou LLM), comme ChatGPT (OpenAI), Gemini (Google/DeepMind) ou encore les modèles génératifs d’images comme Midjourney, sont devenus en très peu de temps des outils incontournables avec des usages qui ne cessent de s’amplifier et de se diversifier. Il est vrai que la fluidité des échanges avec ChatGPT impressionne, et que les promesses de développement sont enthousiasmantes.
Néanmoins, ces promesses cachent des coûts de calcul, et donc énergétiques, considérables. Or, aujourd’hui l’idée dominante dans l’industrie des modèles génératifs est : « Plus grand est le modèle, mieux c’est. » Cette compétition s’accompagne d’une croissance de la consommation énergétique et, donc, de l’empreinte écologique qui ne peut plus être ignorée et qui questionne quant à sa pérennité et sa viabilité pour la société.
Pourquoi un tel coût ?
Un modèle génératif de texte comme un chatbot est un ensemble de paramètres numériques ajustés à partir de données pour accomplir une tâche spécifique. L’architecture dominante s’appuie sur les « transformers ».
Les transformers prennent une séquence en entrée, par exemple un prompt (soit votre question), pour la transformer numériquement. En empilant les couches de transformers, le modèle…
Auteur: Paul Caillon, Docteur en intelligence artificielle , Université Paris Dauphine – PSL
