Données manquantes

[dthonon]

In GitLab by @mgageo on Sep 21, 2021, 17:38

Je viens de mettre en place une nouvelle instance du client en utilisant le même fichier yaml de configuration.

Quand je compare le nombre d'enregistrements des tables, j'ai des différences pour observations et forms.

J'ai fait une comparaison pour forms (81 974 versus 81 988). Les formulaires manquants sont tous datés du 25/07/2021, le premier est une scorie de Biolovision.

`	id	id_form_universal.x	date_start.x	id_form_universal.y	date_start.y
3867	43_279221	2017-01-29	NA	NA
82016	NA	NA	65_1669618	2021-07-25
82017	NA	NA	65_1669620	2021-07-25
82018	NA	NA	65_1669621	2021-07-25
82019	NA	NA	65_1669622	2021-07-25
82020	NA	NA	65_1669623	2021-07-25
82021	NA	NA	65_1669658	2021-07-25
82022	NA	NA	46_82022	2021-07-25
82023	NA	NA	46_82023	2021-07-25
82024	NA	NA	46_82024	2021-07-25
82025	NA	NA	46_82025	2021-07-25
82026	NA	NA	46_82026	2021-07-25
82027	NA	NA	46_82027	2021-07-25
83609	NA	NA	46_83609	2021-09-21
83610	NA	NA	65_1927397	2021-09-21
83611	NA	NA	65_1927502	2021-09-21	`

Je vais essayer de comparer sur les observations (4 652 058 versus 4 653 239) si mon PC le veut bien !

[dthonon]

In GitLab by @mgageo on Sep 21, 2021, 21:18

Mon PC a réussi à comparer et trouve 1 877 différences ce qui est peu sur les 4 millions de données. Je joins un fichier csv avec les différences, je n'y trouve pas de logique ...

table_diff_src_vn_observations.csv

[dthonon]

Information supplémentaire de la part de Fred Cloitre Nous constatons sur toutes les bdd sur lesquelles nous avons travaillé, un delta plus ou moins important entre les stats annoncées par Biolovision (stats générales des sites) et le nombre de données en bdd. Parfois positif, parfois négatif...

Fais-tu aussi ce constat? Aurais-tu des pistes?

Autant, quand on en a moins, je me dis que c'est peut-être lié à nos triggers mais lorsque l'on a plus de données que la source, ça pose question.

Voici les delta rencontrés. couverture source biolovision données présentes dans bdd postgres delta_en_base deltaenbase % comment France Faune-france 82384366 82527476 143 110,00 0,17 % import complet récent (<1semaine) Guyane Faune-guyane 766899 767961 1 062,00 0,14 % import complet récent (<1semaine) Pays de la Loire Faune-France 8265507 7736908 -528 599,00 -6,83 % import complet récent (<2semaine) PACA Faune-paca 9107069 9102273 -4 796,00 -0,05 % import complet ancien (plusieurs mois, voire 2020) Auvergne Faune-auvergne 6154280 6154356 76,00 0,00 % Import complet ancien Ardèche Faune-ardeche 719005 716614 -2 391,00 -0,33 % Import complet ancien Ain Faune-ain 2866410 2860451 -5 959,00 -0,21 % Import complet ancien Drome Faune-drome 1384963 1382582 -2 381,00 -0,17 % Import complet ancien Isere Faune-isere 3242684 3239647 -3 037,00 -0,09 % Import complet ancien Loire Faune-loire 2557874 2554207 -3 667,00 -0,14 % Import complet ancien Rhone Faune-rhone 1579327 1574035 -5 292,00 -0,34 % Import complet ancien Savoie Faune-savoie 839914 835572 -4 342,00 -0,52 % Import complet ancien Haute-Savoie Haute-savoie.lpo.fr 3717610 3717106 -504,00 -0,01 % Import complet ancien

[dthonon]

In GitLab by @mgageo on Nov 9, 2021, 19:09

J'ai l'impression que des corrections sont faites sur les bases faune par Biolovision (sur d'anciens imports par exemple) et je ne sais pas si les outils de suivi de modification répercutent bien ces corrections. Il doit être possible de déterminer les écarts entre faune-france et un faune local, cela peut donner des pistes.

Je vais remettre en place une autre instance en version 3.9.3 sur faune-bretagne pour voir si des deltas apparaissent.

[dthonon]

Oui, Biolovision est en train d'importer les archives des sites locaux dans Faune-France, avec quelques erreurs et corrections au passage. Ceci génère des volumes de modification énormes...

...

Le mar. 9 nov. 2021 à 19:09, Marc Gauthier (@mgageo) a écrit : > Marc Gauthier commented > : > > J'ai l'impression que des corrections sont faites sur les bases faune par > Biolovision (sur d'anciens imports par exemple) et je ne sais pas si les > outils de suivi de modification répercutent bien ces corrections. Il doit > être possible de déterminer les écarts entre faune-france et un faune > local, cela peut donner des pistes. > > Je vais remettre en place une autre instance en version 3.9.3 sur > faune-bretagne pour voir si des deltas apparaissent. > > — > Reply to this email directly or view it on GitLab > . > You're receiving this email because of your account on framagit.org. If > you'd like to receive fewer emails, you can unsubscribe > > from this thread or adjust your notification settings. >

[dthonon]

In GitLab by @mgageo on Nov 19, 2021, 07:59

Je viens de créer une nouvelle instance et le nombre de données est identique avec l'instance qui tourne depuis une dizaine de jours.

À suivre ...