PnX-SI / gn_module_import

Module GeoNature d'import de données
7 stars 11 forks source link

Indicateur de progression de l'import #507

Open blaisegeo opened 3 months ago

blaisegeo commented 3 months ago

Bonjour ;

Les imports de gros fichiers (100 000 lignes, voire plus) peuvent prendre assez longtemps selon la puissance du processeur (un peu plus d'une heure dans mon cas actuellement pour 100 000 lignes, après avoir correctement restreint le champ "enable" à TRUE dans la table ref_geo.l_areas à uniquement les entités correspondant à la région étudiée, sinon c'était plutôt 3 heures avant...).

J'entends sur une autre issue que le module IMPORT est en cours de refonte. Serait-il possible dans ce cadre d'ajouter un indicateur de progression de l'import en cours, par exemple un texte indiquant le nombre de lignes déjà importées et le nombre total de lignes à importer ?

Pour l'instant, lors de l'import, il y a juste l'image d'un cercle qui tourne.

Je vais essayer de jeter un oeil dans le code pour voir comment cela pourrait être implémenté.

camillemonchicourt commented 3 months ago

Actuellement on a une barre de progression lors des contrôles des données à importer. Un fix de celle-ci est d'ailleurs en attente : https://github.com/PnX-SI/gn_module_import/pull/490

Pour les imports, ceux-ci sont fait en asynchrone, et on peut recevoir une notification applicative et/ou par email quand l'import est terminé. Du fait du traitement asynchrone de l'import, je ne sais pas comment il serait possible d'avoir une barre de progression, mais à creuser.