Mardi 11 juin 2024 - 16h30
- Entrée libre et gratuite
- Tout public
- IUT de Saint-Brieuc, rue Henri Wallon - amphi 2, dept SGM
La consommation pour l’entraînement d’un modèle de langage comme GPT-3 [1], le prédécesseur du très célèbre chatGPT, est estimée un peu moins 1 300 MWh d’électricité [2], soit la consommation annuelle de 584 foyers français [3]. Il reste difficile d’estimer la consommation d’énergie par requête d’un tel modèle en raison du manque d’informations disponibles. Il est néanmoins très probable qu’elle soit encore plus importante au vu des millions instances quotidiennes. Quelles techniques peuvent être mises en œuvre pour réduire cette consommation ? Cette présentation vous propose de le découvrir par le biais des modèles convolutifs pour le traitement d’image.
[1] Brown, Tom, et al. “Language models are few-shot learners.” Advances in neural information processing systems 33 (2020): 1877-1901.
[2] Luccioni, Alexandra Sasha, Sylvain Viguier, et Anne-Laure Ligozat. “Estimating the carbon footprint of bloom, a 176b parameter language model.” Journal of Machine Learning Research 24.253 (2023): 1-15.
[3] Consommation par habitant et par ville d’électricité en France, Upenergie, 27 Fév. 2024, https://www.data.gouv.fr/fr/reuses/consommation-par-habitant-et-par-ville-delectricite-en-france/
Une conférence menée par Cédric Gernigon, ancien élève en prépa TSI à Saint-Brieuc, qui est actuellement doctorant au Centre Inria de l’Université de Rennes.
Organisée en partenariat avec l’association Saint-Brieuc Prépas, la rediffusion de la conférence est disponible sur la chaine YouTube du Temps des Sciences.