Issue155 etl clean positions

hehlinge42 commented 4 months ago

Ajout de l'ETL clean_positions :

J'ai dû modifier pas mal de fichiers pour créer les requêtes, j'espère avoir fait correctement, sinon je serai preneur d'un retour.

Quelques points restent à valider avant de fusionner :

J'ai réalisé un test unitaire sur un faux batch spire de 10 lignes de données. Le script src/bloom/tasks/load_fct_excursions_from_csv.py permet de monter cette donnée dans la DB. Est-ce que je push ce test unitaire dans la branche (et le script de loading associé) ou est-ce que je le supprime ?
Quelle est l'unité attendue pour la vitesse dans la table vessel_positions ? Actuellement je l'ai calculée en km/h mais peut être pour des bateaux, les noeuds seraient plus appropriés
Quelle est la colonne de timestamp à utiliser depuis la table spire_ais_data pour faire les calculs de vitesse ? J'ai pris position_timestamp mais il y a aussi spire_update_statement et position_update_timestamp
Est-ce que l'ancien code de clean_positions doit être gardé ou est-ce que je le supprime aussi ?

PS : désolé pour certains changements de pure forme, j'ai le formatteur black qui tourne automatiquement sur mon VS Code.

hehlinge42 commented 4 months ago

Je vois qu'il y a des conflits dans 3 fichiers aussi, j'ai tiré la branche samedi dernier j'imagine qu'il y a eu des changements entre temps dans le main

njouanin commented 4 months ago

Je vois qu'il y a des conflits dans 3 fichiers aussi, j'ai tiré la branche samedi dernier j'imagine qu'il y a eu des changements entre temps dans le main

Oui il faudrait d'abord que tu merge les changements de main qui ont eu lieu depuis que tu as tiré la branche.

SebM42 commented 4 months ago

Vitesse en noeud, distance en mile marin. Pour le timestamp je n'arrive pas à retenir la diff entre timestamp et update_timestamp, voir avec nico. Pour l'ancien code, à mon avis tu peux le virer, mais si tu as des doutes laisse le juste en commentaire.

njouanin commented 4 months ago

Vitesse en noeud, distance en mile marin. Pour le timestamp je n'arrive pas à retenir la diff entre timestamp et update_timestamp, voir avec nico. Pour l'ancien code, à mon avis tu peux le virer, mais si tu as des doutes laisse le juste en commentaire.

timestamp = horodatage de la donnée AIS envoyée par le navire update_timestamp = horodatage de prise en compte de la données AIS par SPIRE

=> il faut utiliser le timestamp qui correspond au plus plus près de la donnée transmise par le navire.

dataforgoodfr / 12_bloom

Issue155 etl clean positions #167