search

dataforgoodfr / energetic-stress-production

Forecast the Energy production in France
https://greenforecast-squad.github.io/energetic-stress-production/
MIT License
1 stars 1 forks source link

Refactor weather history processing #8

Closed antoinetavant closed 5 months ago

antoinetavant commented 5 months ago

Hey, I refactor the weather data processing using xarray as the main tool.

I ended up with extracting the data for each region (Nouvelle-Aquitaine, Île-de-France, etc.)

I open the MR to have feedback on the project directory structure, the names, and some reviewing of the notebooks.

I can convert the notebooks into python scripts if required.

mattcln commented 5 months ago

C'est souvent préférable de clean les outputs des notebooks sur les PR (on l'a pas fait avant clairement), est-ce que tu penses que ça vaut le coup de les garder ici ?

Est-ce qu'on veut pouvoir présenter tes outputs facilement sans re-run les notebooks ?

On perd en lisibilité pour les prochains changements git en faisant ça. Mais si les exécutions sont longues, ça vaut peut être le coup !

antoinetavant commented 5 months ago

Je connais cette théorie ! Perso j'aime garder les outputs car ils permettent de lire le résultats de l'étude sans devoir la faire tourner.

Et J'ai l'impression que le diff des notebooks ne marche jamais dans les PR, avec ou sans outputs, donc je sais pas si c'est vraiment un gain... T'en a quoi comment expérience toi ?

mattcln commented 5 months ago

Oui, il y a forcément des meta data pourries à chaque fois.

Dans ce cas let's go comment ça !