Refacto get dataset betagouv

BaseAdresseNationale / moissonneur-bal

Service de moissonnage des Bases Adresses Locales

2 stars 0 forks source link

Refacto get dataset betagouv #77

Closed fufeck closed 9 months ago

fufeck commented 10 months ago

Context

La récupération des datasets de data.gouv était quasiment obsolète, car on ne prenait pas la pagination de l'api en compte et le page_size allait être dépassé a terme.
Le but est de refacto avant d'intégrer la restriction des partenaire de la charte https://github.com/BaseAdresseNationale/bal-admin/issues/27

Fonctionnalité

Prise en compte de la pagination pour le pas avoir a augmenter le page_size dans quelque mois.
Suppression de la requête qui récupère l'organisation de chaque dataset, car cette dernière est présente dans la requète de base
Url de la route api de beta.gouv mise en variable d'environnement

Doc API datasets

https://guides.data.gouv.fr/publier-des-donnees/guide-data.gouv.fr/api/reference/datasets

MaGOs92 commented 9 months ago

Mince j'ai des soucis pour tester, un bug bizarre de connexion à Mongo... Je pense que c'est encore un problème lié à la lib "gdal-async" qu'on ne peut pas utiliser en node >= 16. En regardant un peu, je me suis aperçu que cette lib est utilisé par le reader shp qui n'est utilisé que pour ce dataset : https://opendata.arcgis.com/datasets/ce237a8f47bc450d9abd6bfa84a44f74_3.zip (qui pointe maintenant vers une erreur 404). Je pense donc qu'on devrait pouvoir se débarrasser de cette dépendance, tu en penses quoi? Plus globalement, on pourrait aussi voir si les autres datasets dans les configs sont tjs valides. A mon avis, le plus solide ça serait de moissonner les données uniquement depuis data.gouv

MaGOs92 commented 9 months ago

Bon bizarrement aujourd'hui ça fonctionne, sans doute un souci de conf de mon côté hier. Tests LGTM, j'ai fait la PR d'authentification du moissonnage sur cette PR

fufeck commented 9 months ago

Mince j'ai des soucis pour tester, un bug bizarre de connexion à Mongo... Je pense que c'est encore un problème lié à la lib "gdal-async" qu'on ne peut pas utiliser en node >= 16. En regardant un peu, je me suis aperçu que cette lib est utilisé par le reader shp qui n'est utilisé que pour ce dataset : https://opendata.arcgis.com/datasets/ce237a8f47bc450d9abd6bfa84a44f74_3.zip (qui pointe maintenant vers une erreur 404). Je pense donc qu'on devrait pouvoir se débarrasser de cette dépendance, tu en penses quoi? Plus globalement, on pourrait aussi voir si les autres datasets dans les configs sont tjs valides. A mon avis, le plus solide ça serait de moissonner les données uniquement depuis data.gouv

A regarder en effet, je vais faire un petit check a la mano ;) Et pour l'aglo de Chalons, j'ai demandé au reste de l'équipe