search

etalab / transport-site

Rendre disponible, valoriser et améliorer les données transports
https://transport.data.gouv.fr
194 stars 30 forks source link

Validata JSON n'est pas un service stable #3492

Closed AntoineAugusti closed 1 year ago

AntoineAugusti commented 1 year ago

Validata JSON a été ajouté chez nous en novembre 2022 https://github.com/etalab/transport-site/issues/2788

Pour le moment nous n'en avons pas fait usage : des validations ont été lancées, enregistrées dans multi_validation mais on n'a jamais regardé avec attention les résultats ou affichés ceux-ci en web ou API.

Pour le moment le service n'est pas bien maintenu par data.gouv.fr / Validata / Multi. La dernière validation en BDD chez nous date du 2023-04-27. Voir Mattermost.

➡️ arrêter de lancer un job de backfill quotidien qui tente de valider toutes les resource_history ayant un schéma JSON Schema n'ayant pas encore été validé par ce validateur.

AntoineAugusti commented 1 year ago

Volume actuel : 249 jobs par jour.

On poll jusqu'à 30 fois en attendant 2s puis 5s puis 20s (2*5+5*5+20*20) = 435s d'exécution d'un job qui fail ensuite. Réessayé jusqu'à 3 fois par job.

C'est long, ça monopolise un worker et la queue resource_validation.