Les liens utilisés par get_insee_data et prepare_job_active_population ne sont plus corrects

mobility-team / mobility

Mobility, an open-source library for mobility modelisation

MIT License

16 stars 11 forks source link

Les liens utilisés par get_insee_data et prepare_job_active_population ne sont plus corrects #22

Closed FlxPo closed 1 year ago

FlxPo commented 1 year ago

Les fonctions prepare_facilities et prepare_job_active_population téléchargent des fichiers zip directement depuis le site de l'INSEE. Problème, les url INSEE sont instables, donc les fonctions ne sont plus à jour assez rapidement.

Nous pouvons faire comme les données des enquêtes mobilité, et stocker les données nous même sur data.gouv.fr (https://www.data.gouv.fr/fr/organizations/mobility/) ? Sauf si on trouve une API stable quelque part ?

Les deux fonctions concernées sont ici :

FlxPo commented 1 year ago

Ajout de la base de données des équipements 2021 sur datagouv : https://www.data.gouv.fr/fr/datasets/equipements-geolocalises-commerce-services-sante-en-2021/

Mind-the-Cap commented 1 year ago

Cela me semble effectivement une bonne idée de stocker les données sur data.gouv.fr (je n'ai pas connaissance d'une API stable), mais nous devrions probablement améliorer les métadonnées dans ce cas. Qui détient les clés du compte ? Idéalement, ça ne devrait pas être une seule personne.

FlxPo commented 1 year ago

J'ai ajouté les données nécessaires aux différentes fonctions sur la page du projet : https://www.data.gouv.fr/fr/organizations/mobility/. J'en ai profité pour adapter le code pour utiliser directement les données du recensement 2019 au lieu de 2018.

Il faut que l'on décide d'une stratégie d'utilisation de fichiers externes dans notre code:

Inclure systématiquement les fichiers nécessaires pour faire tourner les fonctions et les exemples ?
Définir des jeux de données "de base" et d'autres qu'on laisse l'utilisateur gérer ?
Intégrer ou non la mise à jour des jeux de données (millésimes du recensement INSEE par exemple) ?

@Mind-the-Cap est ce que tu as un compte data.gouv.fr ? De manière générale il faut qu'on définisse des rôles plus précis pour le projet avec différents niveaux de droits.

AyoubFOUNDOU commented 1 year ago

Bonjour, On a utilisé le nouveau lien (Nouveau lien),, sauf que les colonnes du fichier CSV ne sont pas les mêmes comme dans l'ancien fichier (qui est dans le code par défaut). Donc ceci génère des erreurs lors de l'exécution du code exemple_CCMGC.py.

FlxPo commented 1 year ago

Normalement j'ai modifié les noms des colonnes dans ce commit : https://github.com/mobility-team/mobility/commit/17bc9858d1915a93f2bb3b21999ad62d2166fa4e

Est ce que vous êtes bien sur la branche improve-Millau_example ? https://github.com/mobility-team/mobility/blob/improve-Millau_example/mobility/parsers/permanent_db_facilities.py

Mind-the-Cap commented 1 year ago

@FlxPo j'ai un compte datagouv avec mon adresse AREP.

J'ai créé deux issues pour les rôles et la stratégie !

FlxPo commented 1 year ago

Je viens de te donner le rôle d'admin pour l'organisation Mobility sur data.gouv.fr. Dis moi si c'est le bon compte, il y en avait deux mais je ne pouvais pas voir l'adresse email utilisée.

Mind-the-Cap commented 1 year ago

C'était le bon :)

FlxPo commented 1 year ago

@AyoubFOUNDOU je viens de fusionner la branche avec l'exemple de Millau corrigé, qui contient le code avec les bons liens vers les fichiers INSEE (maintenant hébergés sur data gouv). Normalement tout est OK.

Je ferme cette issue pour le moment, continuons à discuter de ce sujet global de l'hébergement des données ici : https://github.com/mobility-team/mobility/issues/23.