search

velo-cite / compteurs-velo

Synthèse des compteurs de vélos sur Bordeaux Métropole
https://compteurs.velo-cite.org/
MIT License
1 stars 2 forks source link

Pb de taille fichier téléchargé depuis l'opendata #14

Open CyclisteBx opened 7 months ago

CyclisteBx commented 7 months ago

Depuis quelques jours le fichier téléchargé à chaque mise à jour du site ne fait que ~100Mo au lieu des ~200Mo habituels

par ex: https://github.com/velo-cite/compteurs-velo/actions/runs/7928377732/job/21646508679

Des lignes sont manquantes aléatoirement ce qui fausse les courbes et les sommes sur toute la durée des mesures.

Je viens de télécharger sur ma machine le fichier du jour et il fait bien 198Mo

Peut être qu'un fix simple serait de décaler un peu plus le build en attendant de demander au service open data s'ils peuvent accélérer la creation du fichier csv ?

LoicGombeaud commented 7 months ago

Bonne idée, je vais décaler la mise à jour à une heure plus tard pour l'instant.

La solution long terme sera de faire comme tu proposais : téléchargement uniquement des dernières 24h, et stockage de l'historique de notre côté ; ça demande un peu d'ingénierie, mais ce sera plus rapide et plus robuste.

On Fri, Feb 16, 2024, 12:41 CyclisteBx @.***> wrote:

Assigned #14 https://github.com/velo-cite/compteurs-velo/issues/14 to @LoicGombeaud https://github.com/LoicGombeaud.

— Reply to this email directly, view it on GitHub https://github.com/velo-cite/compteurs-velo/issues/14#event-11827843614, or unsubscribe https://github.com/notifications/unsubscribe-auth/AAI6ORJ7HYJ4DD42IIUO6Z3YT5AXFAVCNFSM6AAAAABDL4NW3OVHI2DSMVQWIX3LMV45UABCJFZXG5LFIV3GK3TUJZXXI2LGNFRWC5DJN5XDWMJRHAZDOOBUGM3DCNA . You are receiving this because you were assigned.Message ID: @.***>

CyclisteBx commented 7 months ago

Aujourd'hui c'est mieux: 177Mo mais toujours pas de fichier complet à 11h. Il y a peut être un pb au niveau de l'open data parce qu'avant ça marchait même à 9h.