Historiser le nombre de lignes de la consolidation IRVE dans stats_history

[vdegove]

On voudrait avoir un historique du nombre de lignes dans le fichier.

[thbar]

On a eu besoin de cette information assez souvent, c'est vraiment rentable je pense de l'intégrer quelque part.

Idéalement metabase-compatible, mais aussi affichable sur le site (rapports).

[AntoineAugusti]

Plusieurs jobs écrivent des données dans geo_data.

Peut-être adapter StatsHandler pour requêter ces données et écrire la bonne (clé, valeur) ?

[thbar]

Voir aussi le nettoyage réalisé ici (qui impacte positivement geo_data):

• https://github.com/etalab/transport-site/issues/3860#issuecomment-2042771989

[thbar]

Suggestion (redite de Mattermost): faire en sorte d'avoir un nommage assez agnostique (du type "row_count" et référençant peut-être l'id de ressource directement), comme ça on pourrait faire des analyses un peu systématiques à terme.

[vdegove]

@thbar histoire d’être clair : tu veux que dans stats_history, je rajoute des lignes dont la colonne "metric" contienne par exemple la valeur row_count_geo_data_118 au lieu de row_count_geo_data_irve ?

[thbar]

@vdegove ça pourrait être namespacé ou un peu comme suit: row_count:resource:118 (différent de ce qui se fait actuellement, mais similaire à ce qui se fait ailleurs dans l'application)

[AntoineAugusti]

On a un peu de namespace de metric existant dans cette table.

Je serais plus en faveur d'avoir un slug plutôt qu'un ressource ID pour faciliter les requêtes et pour assurer une continuité du nommage si on change de ressource, ce qui arrive pour les bases nationales

[vdegove]

Ok, je réfléchis et je vous propose un truc alors (je suis en train de travailler dessus, c’était mon petit bonbon de la journée).