InseeFrLab / pynsee

pynsee package contains tools to easily search and download french data from INSEE and IGN APIs
https://pynsee.readthedocs.io/en/latest/
MIT License
67 stars 9 forks source link

Update notebooks to remove local data #30

Open linogaliana opened 3 years ago

linogaliana commented 3 years ago

Notebooks here

linogaliana commented 2 years ago

quarto should help solving this issue. When my PR will be solved (first #59), I might give it a try

linogaliana commented 2 years ago

https://quarto.org/docs/tools/jupyter-lab.html#converting-notebooks

linogaliana commented 2 years ago

@hadrilec je suis arrivé à une première version (en principe) fonctionnelle de :

qmd -> ipynb -> notebooks sauvés sur S3

Y a l'enjeu des runners qui font des timeout errors (débit réseau trop lent des runners de GHA) à gérer, j'y réfléchirai prochainement.

On est d'accord que c'est ce fichier (https://github.com/InseeFrLab/pynsee/blob/master/docs/examples.rst) qui gère la gallerie d'exemples sur le site readthedocs ? Y a un autre endroit où la localisation des notebooks intervient ?

linogaliana commented 2 years ago

Je pense que dans un premier temps le mieux est de laisser des notebooks sur le dépôt mais arrêter de les éditer pour privilégier l'édition des qmd. Cela évitera de casser la gallerie d'exemple sphinx.

Quand j'aurais le temps, je ferai un vrai site de showroom d'exemples où on pourra s'abstraire totalement des notebooks sur le dépôt.

Qu'en penses-tu @hadrilec ?

hadrilec commented 2 years ago

Salut @linogaliana, en effet c'est bien le fichier examples.rst qui définit la gallerie d'exemples. Le fichier conf.py définit l'environnement du build de readthedocs. Lors du build le processus se place dans le dossier docs, et donc les chemins sont relatifs à ce placement.

Merci beaucoup pour les qmd! J'ai hâte de voir ce que ça va donner, à l'occasion ça m'intéresse de voir dans quel environnement tu testes ça?

OK ça marche, je vais arrêter de faire de nouveaux notebooks le temps que l'autre solution via quarto soit mise en place. Les dernières modifications que j'ai faites cette semaine correspondent à des bugs apparus suite à un changement de nom de paramètre. Pour l'instant je m'assure que les exemples tournent en les testant via un cron job quotidien: github/workflows/examples.yml, à l'avenir il faudra qu'on modifie légèrement ça pour faire tourner les qmd, a+

linogaliana commented 2 years ago

Merci beaucoup pour les qmd! J'ai hâte de voir ce que ça va donner, à l'occasion ça m'intéresse de voir dans quel environnement tu testes ça?

Dans les services vscode du SSP-Cloud, quarto est pré-installé (j'ai une PR en attente sur le dépôt d'onyxia pour que les derniers réglages manquants soient ok)

OK ça marche, je vais arrêter de faire de nouveaux notebooks le temps que l'autre solution via quarto soit mise en place. Les dernières modifications que j'ai faites cette semaine correspondent à des bugs apparus suite à un changement de nom de paramètre. Pour l'instant je m'assure que les exemples tournent en les testant via un cron job quotidien: github/workflows/examples.yml, à l'avenir il faudra qu'on modifie légèrement ça pour faire tourner les qmd, a+

Merci je regarderai ce fichier

RLesur commented 1 year ago

Hello @hadrilec , faut vraiment nettoyer ce repo qui devient trop gros et virer ces notebooks. Ca devient urgent, là...

hadrilec commented 1 year ago

Ok ça marche, @linogaliana si tu as un peu de temps pour me donner quelques conseils sur comment faire un site quarto qui pourrait accueillir la doc des fonctions et les exemples ça me ferait gagner un temps précieux