search

etalab / transport-site

Rendre disponible, valoriser et améliorer les données transports
https://transport.data.gouv.fr
197 stars 30 forks source link

Suppression ressources obsolètes "base consolidée IRVE statique" #3860

Open thbar opened 7 months ago

thbar commented 7 months ago

Voir:

@stephane-pignal on s'en reparle, on va voir comment supprimer ensemble les "anciennes versions" de la consolidation, car le souci c'est que des personnes en dépendent et ne réalisent pas que c'est mis à jour ; autant déclencher une erreur 404 et inciter à aller vers la data à jour.

thbar commented 7 months ago

Je propose de supprimer les ressources marquées ❌, et de conserver celles marquées OK

CleanShot 2024-04-08 at 15 26 11@2x

voir https://www.data.gouv.fr/fr/datasets/fichier-consolide-des-bornes-de-recharge-pour-vehicules-electriques/

@stephane-pignal ça te va ? idem @ptitfred qui commence à fouiller tout ça en lien avec https://github.com/etalab/transport-site/issues/3794 ?

ptitfred commented 7 months ago

@thbar nous consommons toujours le schéma 2.2.0 en production

thbar commented 7 months ago

@ptitfred haha alors bonne alerte :smile: on va temporiser le ménage ici en attendant que ça soit au propre. Tu vas partir sur celle de tout en haut du coup ? (avec le point qu'il faut faire attention en cas d'upgrades comme on a dit !)

ptitfred commented 7 months ago

L'objectif de #3794 est bien de basculer vers la dernière version (en l'occurrence 2.3.1)

thbar commented 7 months ago

L'objectif de #3794 est bien de basculer vers la dernière version (en l'occurrence 2.3.1)

Alors il y a une subtilité dont je n'ai connaissance que depuis peu (merci @Pierlou) et que je vais quand même demander à vérifier:

@Pierlou est-ce que tu confirmes que c'est bien ce qui se passe au niveau consolidation ?

Pierlou commented 7 months ago

Bonjour 👋 Pas exactement :

la deuxième ligne du screenshot plus haut correspond à https://github.com/etalab/schema-irve/blob/v2.3.1/dynamique/schema-dynamique.json

Il n'y a rien lié aux IRVE dynamiques dans ce jeu de données

la première, qu'on va conserver, est-elle différente et correspond à https://github.com/etalab/schema-irve/releases/latest si je comprends bien (c'est à dire "la dernière, quelle que soit la dernière y compris si elle change")

Presque : le lien que tu as envoyé pointe vers le datapackage, ici on parle bien de la latest du schéma IRVE statique : https://schema.data.gouv.fr/etalab/schema-irve-statique/

Pour revenir sur le fonctionnement : chaque version qui n'est pas exclue dans notre fichier de config donne lieu à une consolidation (quotidienne), qui apparait sous la forme Consolidation de la vX.X.X du schéma (anciennement ces fichiers étaient nommés Dernière version consolidée (vX.X.X), on a changé dans un souci de lisibilité).

L'ajout récent est le fichier Consolidation de la dernière version à date du schéma, qui est la ressource stable à privilégier pour avoir accès aux dernières données en date avec la dernière version du schéma (ce fichier est agnostique aux montées de versions, il sera toujours lié à la dernière version à date)

thbar commented 7 months ago

@Pierlou pardon, erreur d'inattention sur ce point de ma part car je bosse aussi sur le dynamique là :smile:

Il n'y a rien lié aux IRVE dynamiques dans ce jeu de données

Oui je parlais bien du statique !

L'ajout récent est le fichier Consolidation de la dernière version à date du schéma, qui est la ressource stable à privilégier pour avoir accès aux dernières données en date avec la dernière version du schéma (ce fichier est agnostique aux montées de versions, il sera toujours lié à la dernière version à date)

OK c'est exactement ce que je voulais dire, merci pour la confirmation !

@ptitfred donc il faudra trouver un moyen idéalement de prendre la dernière version statique disponible, dynamiquement !

thbar commented 7 months ago

(sinon ça va casser en fait à chaque tour)

ptitfred commented 7 months ago

@ptitfred donc il faudra trouver un moyen idéalement de prendre la dernière version statique disponible, dynamiquement !

Je suis confus ; n'est-ce pas précisément ce que je suis en train de faire ?

thbar commented 7 months ago

@ptitfred donc il faudra trouver un moyen idéalement de prendre la dernière version statique disponible, dynamiquement !

Je suis confus ; n'est-ce pas précisément ce que je suis en train de faire ?

On s'appellera ça sera plus simple je pense !

Pierlou commented 7 months ago

La dernière version statique disponible sera désormais toujours ce fichier : https://www.data.gouv.fr/fr/datasets/fichier-consolide-des-bornes-de-recharge-pour-vehicules-electriques/#/resources/eb76d20a-8501-400e-b336-d85724de5435 (pour éviter d'avoir à changer de fichier à chaque montée de version)

stephane-pignal commented 7 months ago

Après sauvegarde local, suppression via le backoffice data.gouv des ressources suivantes :

Nouvel affichage Capture d’écran 2024-04-26 à 14 22 16

Pierlou commented 7 months ago

Au prochain passage de la prod le fichier Consolidation de la v2.3.1 du schéma - AAAAMMJJ sera recréé automatiquement (l'idée étant qu'il y a actuellement un fichier par version non mentionnée dans la drop list + le fichier stable de la dernière version). A discuter si vous voulez qu'il n'y ait pas coexistence de la dernière version x2

stephane-pignal commented 7 months ago

Merci @Pierlou, en effet étant donné la date de mise à jour j'imaginais bien que celui-ci serait recréé On verra lors de notre prochaine réu d'équipe la coexistence ou non avec la x2

stephane-pignal commented 6 months ago

ATTENTION : la ressource "Consolidation de la v2.3.1 du schéma - AAAA/MM/JJ" est nécessaire à la génération de la ressource "Consolidation de la dernière version à date du schéma (v2.3.1) - AAAA/MM/JJ

thbar commented 6 months ago

Il reste juste une ressource obsolète que je propose de supprimer, le reste étant actuellement mis à jour en automatique. What do you think?

CleanShot 2024-05-20 at 19 52 25@2x