Télécharger les détails des ressources historisées

etalab / transport-site

Rendre disponible, valoriser et améliorer les données transports

https://transport.data.gouv.fr

198 stars 30 forks source link

Télécharger les détails des ressources historisées #4194

Closed AntoineAugusti closed 2 months ago

AntoineAugusti commented 2 months ago

Fixes #4193

Permet de proposer le téléchargement d'un fichier CSV comprenant des informations sur l'historisation des ressources d'un jeu de données, les métadonnées, les validations de ces snapshots.

Interface

Exemple d'un fichier

historisation-dataset-232-2024-09-17.csv

AntoineAugusti commented 2 months ago

cc @Brewennn @cyrilmorin, on en parlait sur Front

vdegove commented 2 months ago

Est-ce que tu peux m’expliquer le besoin de l’utilisateur que je ne connais pas du tout ? Ils veulent avoir accès à une ressource plus ancienne que les 25 dernières ? Quel est l’âge de la resource habituellement demandé, et est-ce que c’est une seule version historisée ou un batch ? Qu’en font-ils (si tu sais) et de quoi ont-ils besoin habituellement – juste l’URL du fichier à télécharger, ou plus que ça ?

AntoineAugusti commented 2 months ago

Ils veulent parfois avoir accès à des ressources plus anciennes que les 25 dernières affichées pour plusieurs raisons :

si la ressource est mise à jour tous les jours, 25 jours d'ancienneté arrive vite
cas d'usage : analyse de l'offre dans le passé (lors d'événements comme les JOs, rentrée scolaire), analyse de la concurrence
besoin : principalement le fichier GTFS (accessible via l'URL de téléchargement) on peut fournir les métadonnées pour faciliter l'analyse

AntoineAugusti commented 2 months ago

@vdegove J'ai pris en compte tes suggestions.

Ajout de la colonne resource_id
Un peu plus de lisibilité pour vérifier le contenu du CSV. C'est pas si simple car le décodage en Map ne vérifie pas l'ordre des colonnes, faut faire une vérification supplémentaire. Ça reste verbeux.
Un commentaire sur le setup des tests
Une ressource temps-réel qui n'est pas historisée

Pour ce qui est des données supplémentaires, l'utilisateur pourra choisir ce qui l'intéresse. Les dates de validité se retrouvent dans les métadonnées, comme le nom du fichier et de nombreux autres paramètres. Notre UI choisit de les afficher mais en livrant les données brutes on ne fait pas de choix éditorial.

thbar commented 2 months ago

Est-ce que tu peux m’expliquer le besoin de l’utilisateur que je ne connais pas du tout ? Ils veulent avoir accès à une ressource plus ancienne que les 25 dernières ? Quel est l’âge de la resource habituellement demandé, et est-ce que c’est une seule version historisée ou un batch ? Qu’en font-ils (si tu sais) et de quoi ont-ils besoin habituellement – juste l’URL du fichier à télécharger, ou plus que ça ?

Je plussoie ce qu'a dit @AntoineAugusti - ce besoin est particulièrement présent sur les bases consolidées, on a eu la demande (poke @stephane-pignal) sur les IRVE encore dernièrement. Cette PR va me permettre de répondre à cette personne.

Merci @AntoineAugusti !

thbar commented 2 months ago

Et retour d'une utilisatrice auquel j'ai transmis le lien:

Merci beaucoup pour la solution permettant d'accéder aux fichiers historisés. Cette nouvelle fonctionnalité répond complètement à notre besoin et pas uniquement pour la base nationale des IRVE ! Donc une très bonne nouvelle pour alimenter notre tableau de bord national des mobilités durables avec des indicateurs historisés.

❤️

Brewennn commented 2 months ago

C'est top. @AntoineAugusti : Juste pour bien comprendre, ça prend en compte toutes les ressources historisées depuis la création du JDD ? Cette petite fonctionnalité pourrait faire l'objet d'une communication car ça pourrait intéresser pas mal de monde pour faire des petites statistiques

AntoineAugusti commented 2 months ago

@Brewennn Oui tout à fait. Toutes les ressources statiques depuis la création du jeu de données. Tu peux télécharger quelques fichiers pour tester et voir le contenu.