lpoaura / GN2PG

Outil d'import de données entre instances GeoNature (côté client)
https://lpoaura.github.io/GN2PG/
GNU Affero General Public License v3.0
5 stars 11 forks source link

Insertion des données stoppée à 10% #81

Closed lpojgc closed 3 months ago

lpojgc commented 3 months ago

What is the bug or the crash?

Lors de l'exécution de la commande d'update, elle s'arrête à 10 %. L'apparition du problème semble correlée aux montées en versions de nos instances (GN 2.13.3>2.14.2, Export 1.6>1.7).

Capture d’écran du 2024-08-08 08-23-00

Steps to reproduce the issue

gn2pg_cli --update conf.toml

Versions

GN 2.14.2 pour les 2 bdd Export 1.7

Additional context

Problème probablement lié à la MaJ de SQLAlchemy du module Export.

lpojgc commented 3 months ago

même constat par @jpm-cbna sur une instance source 2.14 et export 1.7 et destination 2.10

lpofredc commented 3 months ago

Ces lignes sont à l'origine de ce problème (cf. https://github.com/PnX-SI/gn_module_export/issues/198):

https://github.com/PnX-SI/gn_module_export/blob/e22ed1b72b8c2a4c477774fd1d5eda316434d5a2/backend/gn_module_export/blueprint.py#L276-L277

Deux choses seraient à faire:

lpofredc commented 3 months ago
* monter la limite arbitraire de 1000 lignes sur le module d'export

Proposition de PR sur gn_module_export > https://github.com/PnX-SI/gn_module_export/pull/212

  • modifier gn2pg pour que le calcul de l'avancement soit réalisé d'après la valeur limit renvoyée par l'API et non par celle paramétrée dans la config de l'import. Modifié dans la version 1.6.6 (cf. #83)