Hisqkq / Projet-de-visualisation-M1

Application Dash ayant pour but de réaliser les visualisations interactives des donnés de l'énergie électrique en France métropolitaine (hors Corse).
Apache License 2.0
2 stars 1 forks source link

Prévenir du temps (long) nécessaire à la construction de la base. #6

Open guywiz opened 1 week ago

guywiz commented 1 week ago

La construction de la base met un certain temps à se faire, ce serait bien de prévenir l'utilisateur dans le README. Une idée serait peut-être de disposer d'une base minimaliste qui permet de faire une démo de l'appli, sans avoir à lancer les requêtes pour disposer des données complètes. Et du coup, adapter le script de construction en conséquence. Moi j'dis ça j'dis rien ...

Hisqkq commented 1 week ago

La construction de la base met un certain temps à se faire, ce serait bien de prévenir l'utilisateur dans le README. Une idée serait peut-être de disposer d'une base minimaliste qui permet de faire une démo de l'appli, sans avoir à lancer les requêtes pour disposer des données complètes. Et du coup, adapter le script de construction en conséquence. Moi j'dis ça j'dis rien ...

Merci pour la remarque @guywiz, vous avez raison, c’est effectivement un point bloquant lorsque l’on souhaite rapidement visualiser l’application en local.

En complément de votre suggestion, j’ai envisagé d’utiliser des méthodes de multithreading pour accélérer le processus, notamment en appelant les API de manière simultanée et en remplissant les données mois par mois en parallèle.

Pour l’instant, j’observe déjà de bonnes améliorations en termes de vitesse de remplissage des données.

Hisqkq commented 1 week ago

Pour la base minimaliste, j'avais pensé à simplement rajouter un mode ou on se contente des données des API en temps réel. Combiné avec le multithreading le remplissage dure moins de 5 minutes.