alexisig
commented
1 month ago @inesdartiguenave @Phil-Loriot Au vu de nos besoins en terme de calcul et de croisement de données, je pense que cette tâche devient un pre-requis pour industrialiser notre process de livraison de données. Ce serait un bon chantier d'été et permettrait de livrer un nouveau département avec simplement les URLS des shapefiles de l'IGN en entrée.
Ca impliquerait :
- de déployer un ETL (un serveur spécialisé dans l'Extraction, la Transformation et le Chargement des données)
- d'adapter les pré-calcul de donnée existants à l'ETL
- d'écrire le reste des pré-calcul
L'effort total de mise en place d'un tel système + l'intégration des 10 nouveaux départements (avec la nouvelle méthode de calcul de l'artif) serait à mon sens plus faible que le même travail sans la mise en place de ce système.
Ca impliquerait en contrepartie d'accepter de livrer ces départements et la nouvelle méthode de calcul de l'artif une fois que cette brique technique est prête.
Situation
La moitié des calculs sont fait en local (ce qui a été fait dans cette US : #188) et le reste en production. Pour chaque chargement de nouveau département OCS GE, plusieurs actions et vérificiations manuelles sont nécessaires, puis de nombreux calculs ont lieu en production (ce qui implique une période de maintenance).
Solution
Extraire tous ces calculs sur un ETL installé sur un serveur tier, et charger les données directement pré-caculées