etalab / transport-site

Rendre disponible, valoriser et améliorer les données transports
https://transport.data.gouv.fr
184 stars 28 forks source link

Historisation du nombre d’entrées des datasets consolidés (IRVE, BNLC, Parc Relais et ZFE) et refactorisation des datasets consolidés #3969

Open vdegove opened 1 month ago

vdegove commented 1 month ago

Closes #3963

Cette PR permet d’écrire la table stats_history avec le nombre de lignes contenus dans les datasets aggrégés :

SELECT x.* FROM public.stats_history x
WHERE metric ILIKE ('count_geo_data_lines::%')
id   |timestamp              |metric                    |value|
-----+-----------------------+--------------------------+-----+
31845|2024-06-03 08:37:51.000|count_geo_data_lines::irve|95540|
31871|2024-06-03 15:19:24.000|count_geo_data_lines::bnlc|15835|
31872|2024-06-03 15:19:24.000|count_geo_data_lines::bnls|  213|
31873|2024-06-03 15:19:24.000|count_geo_data_lines::irve|95540|
31874|2024-06-03 15:19:24.000|count_geo_data_lines::zfe |   15|

J’en ai profité pour créer un module Transport.ConsolidatedDataset et y bouger, puis refactorer, l’accès aux datasets consolidés.

TODOs qui restent à corriger

thbar commented 1 month ago

On a fait un tour sur différent points avec @vdegove ; pourras-tu me biper après tes refactos que je commente @vdegove ? Merci !

thbar commented 4 weeks ago

@vdegove (dernier commentaire édité pour souligner certains points confusants qu'on gagnera à traiter à un moment, mais qui peuvent attendre maintenant qu'on a compris)

thbar commented 3 weeks ago

One does not just pass AOM id nil.

thbar commented 2 weeks ago

Status sur ce point: on va chercher à trouver une repro plus minimaliste (voir #3994 pour un début non concluant pour le moment), qui aidera à corriger. Pas d'urgence mais c'est là où on en est.