Mode d'alimentation des données

collec-data / focus-marches

5 stars 2 forks source link

Mode d'alimentation des données #26

Open VictorVila opened 10 months ago

VictorVila commented 10 months ago

Source de données :

Règles de gestion_marché_V4.pdf

Initialisation sur le fichier de data.gouv.fr
Configuration possible de la fréquence de la mise à jour mensuelle/hébdomadaire à partir de data.gouv.fr
Configuration possible de la mise à jour journalière à partir de data.economie.gouv.fr

yguenneugues commented 8 months ago

On en fait quoi de ces règles de gestions dans le cadre de focus marchés ?

lvinsonneau commented 8 months ago

@yguenneugues : je pense que c'est plus pour capitalisation d'infos qu'autre chose à ce stade. Faut déjà qu'on se positionne pour savoir quelle source de données on prend :

fichier national consolidé sur data.gouv : sur lequel les règles de gestion ne sont pas appliquées
ou fichier sur data.economie : sur lequel les règles de gestion sont appliquées @VictorVila : tu as la même vision ?

VictorVila commented 8 months ago

@lvinsonneau @yguenneugues de mon point de vue il faudrait considérer à minima que :

Les règles de gestion peuvent changer sans que l'on soit prévenus (le contraire serait étonnant)
Potentiellement il y a une chance pour que Vlad reussise à nous faire un export journalier
Au pire on peut descendre notre fréquence de collecte à la semaine

lvinsonneau commented 8 months ago

@VictorVila : pour moi les règles de gestion visées concernaient davantage le "nettoyage" fait par BercyHub sur les données de marchés en doublon ou des données incohérentes au niveau des montants ou autres, plutôt que notre future façon d'alimenter focus. Mais c'est bien de l'avoir en visu dans ce ticket pour mémoire, ça nous donnera peut-être des idées, notamment si nous ne repartons pas des données de data.economie et que nous avons besoin de "nettoyer" nous aussi.