etalab / transport-site

Rendre disponible, valoriser et améliorer les données transports
https://transport.data.gouv.fr
198 stars 30 forks source link

Validation NeTEx automatique #4204

Closed ptitfred closed 3 weeks ago

ptitfred commented 2 months ago

Validation automatique des resources NeTEx historisées.

image

Voir #4153.


Test ponctuel

def validate_resource_history(resource_history_id) do
  %{
    "validator" => Atom.to_string(Transport.Validators.NeTEx),
    "resource_history_id" => resource_history_id
  }
  |> Transport.Jobs.ResourceHistoryValidationJob.new()
  |> Oban.insert!()
end
ptitfred commented 2 months ago

@ptitfred je me demandais si j'allais tenter de faire tourner ça en local ; vu tes travaux précédents, est-ce que tu as réussi à travailler en local avec un bucket etc ?

Oui, le screenshot est tiré de mon setup local. J'ai l'upload S3 depuis un bon moment (pour tester le GTFS diff, et pour la validation OnDemand).

ptitfred commented 2 months ago

Cette PR n'affiche pas le résumé dans la page du dataset, ça viendra ultérieurement pour ne pas surcharger la review inutilement. (Et parce que j'avais oublié.) Fait dans #4227.

thbar commented 1 month ago

(et donc je vois aussi le souci "mix dialyzer --plt" qui coince @ptitfred sur le CI !)

thbar commented 1 month ago

(et donc je vois aussi le souci "mix dialyzer --plt" qui coince @ptitfred sur le CI !)

J'ai remis à jour la branche, et cette fois... plus de timeout, c'est passé.

ptitfred commented 1 month ago

(et donc je vois aussi le souci "mix dialyzer --plt" qui coince @ptitfred sur le CI !)

J'ai remis à jour la branche, et cette fois... plus de timeout, c'est passé.

Je relance le build directement dans ces cas-là

AntoineAugusti commented 1 month ago

Même problème sur pas mal de PRs avec CircleCI. Je relance et ça passe. C'est assez récent et j'ai jamais enquêté. Peut-être qu'on mange trop de ressources et que CircleCI a été plus agressif pour tuer des process gourmands dernièrement.

ptitfred commented 1 month ago

J’ai mis un peu de temps à comprendre Les avertissements sont temporaires (et j’ai trouvé la traduction plus claire). Peut-être à remplacer par quelque chose du genre “les avertissements affichés sont en beta et vont évoluer” ?

Oui j'ai pas été très inspiré.

ptitfred commented 1 month ago

Je ne vois pas le déclenchement via le job automatique, est-ce déjà “intégré” indirectement, ou est-ce que ça fera l’objet d’une autre PR ?

Il faut que je reteste mais autant que je me souvienne (1 mois est passé déjà) le validateur NeTEx est listé à côté des autres et devrait donc bien être déclenché par la validation à l'historisation.

thbar commented 4 weeks ago

Après discussion avec @ptitfred on va temporiser le déploiement à lundi. Principalement à cause d'Halloween.

ptitfred commented 4 weeks ago

Après discussion avec @ptitfred on va temporiser le déploiement à lundi. Principalement à cause d'Halloween.

Je vais refaire quelques tests en local avant de partir en week-end, notamment pour être serein quant à l'historisation.