Actuellement, les données AIS récupérées par l'API SPIRE sont stockées dans la table spire_ais_data toutes les 15 minutes. Ces données sont ensuite consommées par les traitements de l'ETL, mais ne sont jamais supprimées.
La table spire_ais_data a donc vocation à grossir jusqu'à l'infini et l'au-delà ...
Il faudrait donc créer un traitement d'export des données (par exemple toutes les semaines) pour extraire les données anciennes dans un fichier et purger la table. Le fichier généré pourrait ensuite être envoyé vers un stockage en ligne.
BONUS: créer un traitement permettant de ré-importer un fichier archivé.
Actuellement, les données AIS récupérées par l'API SPIRE sont stockées dans la table
spire_ais_datatoutes les 15 minutes. Ces données sont ensuite consommées par les traitements de l'ETL, mais ne sont jamais supprimées. La tablespire_ais_dataa donc vocation à grossir jusqu'à l'infini et l'au-delà ... Il faudrait donc créer un traitement d'export des données (par exemple toutes les semaines) pour extraire les données anciennes dans un fichier et purger la table. Le fichier généré pourrait ensuite être envoyé vers un stockage en ligne. BONUS: créer un traitement permettant de ré-importer un fichier archivé.