emilienschultz
commented
1 week ago De @eollion : deux types d’approche pour calculer l’usage du modèle, mais aussi le Power Usage Efficiency (tout le cout d’existence de ton data center – y compris la lumiere – hors cout d’entrainement, et c’est environ de 1.8 pour Jean Zay).
Il y a deux approches : online tools (Green algorithms, ML CO2 impact), MLCA, or python packages (Carbon Tracker, Cumulator)
- un capteur à mettre sur le GPU
Les outils en ligne sont très faciles à condition de connaître les ressources utilisées, mais à la bonne volonté des clients. le package python est un tout petit peu plus compliqué (faut des droits), le capteur demande l'acces root complet
Le package python peut être plus précis, ca marche bien en local. Mais c’est plus difficile sur les infrastructures partagées pour accéder au niveau root.
De manière générale, tout est de l’ordre de l’estimation un peu pifometre.
Sinon, une autre option serait de mettre, au niveau des GPU, ce genre de calculateur (AI Power Meter, voir Git et poster conférence ICT4S), qui donne une consommation plus précise.
Use https://codecarbon.io/ to compute an estimate