search

lpoaura / GN2PG

Outil d'import de données entre instances GeoNature (côté client)
https://lpoaura.github.io/GN2PG/
GNU Affero General Public License v3.0
5 stars 11 forks source link

Gestion sources multiples #84

Open lpojgc opened 4 weeks ago

lpojgc commented 4 weeks ago

Feature description

Lorsqu'on a plusieurs sources dans une fichier, si l'une d'entre elles n'est pas disponible, l'exécution est stoppée, sans passer à la suivante (pour le full a minima, pas testé sur l'update). Il faudrait prévoir un mécanisme pour passer à la suivante même en cas d'échec de la précédente (ou test de la dispo de la source avant de lancer le téléchargement ?)... Ou prévoir de ne mettre qu'une source par fichier ;-)

Additional context

No response

camillemonchicourt commented 4 weeks ago

Je vois pas à quoi correspondent les sources ?

lpofredc commented 4 weeks ago

Ce sont les différentes sources de données à importer dans GN2PG, cf. https://github.com/lpoaura/GN2PG/blob/main/gn2pg/data/gn2pgconfig.toml

camillemonchicourt commented 4 weeks ago

Ah oui OK je capte, en effet, il est important de pouvoir en avoir plusieurs, potentiellement pas mal et que si une rencontre un soucis, que cela ne bloque pas les suivantes.

DonovanMaillard commented 4 weeks ago

Oui, ca dépend de la manière d'utiliser gn2pg.

Soit on fait un seul fichier de conf, on met toutes les sources bout à bout, et dans ce cas en effet elles doivent être gérées indépendamment les unes des autres et sans bloquages. On a dans ce cas un seul schéma gn2pg, un seul lot de tables, et une seule fois les triggers qui sont appliqués de la même manière à toutes les sources.

On peut aussi (je le fais pour le moment sur le pôle invertébrés) avoir n fichiers de configuration, n schemas, et du coup gérer les n triggers pour traiter les données lors de leur envoi en synthèse. A voir si c'est pérenne avec la multiplication des sources, ca amène une meilleure visibilité dans la base mais ca duplique tout quand on a 10 sources.

jpm-cbna commented 3 weeks ago

On peut aussi (je le fais pour le moment sur le pôle invertébrés) avoir n fichiers de configuration, n schemas, et du coup gérer les n triggers pour traiter les données lors de leur envoi en synthèse.

C'est aussi la solution retenue dans le cadre du SINP AURA. Nous avons 2 sources de données et c'est vrai que c'est assez pratique tant que l'on a peut de source. C'est pratique pour tester quelque chose sur le schéma d'une source en étant certain que cela ne changera rien aux autres...

DonovanMaillard commented 3 weeks ago

Dans mon cas ça me permet d'adapter les triggers en gardant les validations de certaines sources et pas d'autres par exemple, mais ça peut se contourner avec des conditions dans le trigger.