lpoaura / BirdAtlasOfFrance

Oiseaux de France, a web bird atlas of France
https://www.oiseauxdefrance.org/
GNU Affero General Public License v3.0
8 stars 7 forks source link

[données] intégration données eBird #280

Closed lpojgc closed 1 year ago

lpojgc commented 1 year ago

JD va envoyer les données à intégrer avec les codes atlas (30/40/50).

Garder en tête la possibilité d'exclure des données invalidées ultérieurement.

lpojgc commented 1 year ago

données reçues, à intégrer

lpojgc commented 1 year ago

Données à inétgrer en synthèse et synthèse étendue. Traduction des codes atlas :

Penser à faire une source dédiée dans t_sources + JDD (CA et JDD dédiés à cet import). Désactiver les triggers pour l'import. Penser à peupler les métacreate et update date de la synthèse.

lpojgc commented 1 year ago

apparemment des cd_nom inexistants dans le fichier, à voir comment les gérer (crétaion de cd_nom négatifs ou écartement des données)

lpojgc commented 1 year ago

@afourneyron peux-tu compléter en précisant ce qui a été fait ? de mémoire, on a écarté les données sans cd_nom, tu confirmes ? où elles ont été intégrées ? avec les connexions aux autres portails, les cdnom manquants seront probablement créés

afourneyron commented 1 year ago

On a écarté les données ayant un cd_nom inexistants ou sans correspondances Le reste des données est sur le JDD id = 1238 (ebird_data_2023) et la source = 26 (Import eBird)

Pour les espèces sans correspondances, on retrouve :

lpojgc commented 1 year ago

@afourneyron , pourras-tu vérifier les correspondances existent maintenant ? plusieurs ont été intégrées. si les correspondances existent bien, il faudrait importer ces données. merci

lpojgc commented 1 year ago

voir https://github.com/lpoaura/BirdAtlasOfFrance/issues/324

afourneyron commented 1 year ago

Il reste encore 3 espèces sans correspondances : Collocalia uropygialis | Salangane des Nouvelles-Hébrides (863 données) Pachycephala chlorura | Siffleur mélanésien (27 données) Vireo flavoviridis | Viréo jaune-verdâtre (2 données)

afourneyron commented 1 year ago

Intégration de 180 données avec les 16 nouvelles espèces avec correspondances (Picoides dorsalis, Pterodroma longirostris, anius borealis, Foulehaio carunculatus, Procellaria parkinsoni, Pterodroma atrata, Vireo gilvus, Todiramphus sacer, Spizella pallida, Piranga ludoviciana, Pachyramphus viridis, Cinnyris notatus, Puffinus newelli, Setophaga townsendi, Ixoreus naevius, Amazona ventralis) Fait

lpojgc commented 1 year ago

Il reste encore 3 espèces sans correspondances : Collocalia uropygialis | Salangane des Nouvelles-Hébrides (863 données) Pachycephala chlorura | Siffleur mélanésien (27 données) Vireo flavoviridis | Viréo jaune-verdâtre (2 données)

@afourneyron , as-tu regardé dans le fichier de JD si ces taxons avaient un cd_nom ? il est possible qu'il y a des synonymes avec des espèces que l'on a déjà traitées

https://github.com/lpoaura/BirdAtlasOfFrance/issues/324

afourneyron commented 1 year ago

Oui pour ses espèces il y a des cd_nom d'indiqué mais aucun de ses cd_nom n'est présent dans taxref. (962459, 962462, 977555)

962459 | Collocalia uropygialis 962462 | Pachycephala chlorura 977555 | Vireo flavoviridis

lpojgc commented 1 year ago

ok, c'est donc lié à la version de taxref qui n'est pas la plus récente sur cette bdd. @lpofredc je pense qu'on pourrait insérer les cd_nom en question dans taxref pour pouvoir traiter ces espèces, qu'en pesnes-tu ?

lpofredc commented 1 year ago

Oui, taxons intégrés.

afourneyron commented 1 year ago

Dernières données sont intégrées

au total sur la base de donnée on a : 530 501 données de ebird Le fichier excel contient 530 503 mais il y a 2 données sans dates qui ont été mis de côté.

lpojgc commented 1 year ago

parfait, merci !