Les fichiers CSV des BAL sont actuellement stockés dans MongoDB, ce qui représente 99% du volume de la base de données.
Nous souhaitons externaliser ce stockage vers un stockage S3 hébergé chez OVH pour que Mongo occupe moins de ressources sur le serveur et accélérer les backups.
Cette migration se fera en trois étapes :
Faire cohabiter le stockage S3 et le stockage dans MongoDB (plus une migration des fichiers déjà existants vers S3). Si le serveur ne trouve pas un fichier demandé dans le stockage S3, il renverra le fichier stocké en base (fonctionnement actuel)
Une fois que le système fonctionne bien (monitoring via Datadog), nous arrêtons d'inscrire les nouveaux fichiers dans la base de données.
A terme nous souhaitons supprimer la propriété "data" contenant le fichier de la collection "files", pour alléger considérablement la taille de la BDD.
Cette PR correspond à la première étape de cette migration.
Pour tester
yarn install
Mettre à jour le .env avec les crédentials du bucket de test (me demander les crédentials en MP)
Tester le script de migration node migrations/migration-files-to-s3-storage.js
Tester l'enregistrement et le téléchargement des fichiers BAL dans le S3 à la publication d'une révision
Contexte
Les fichiers CSV des BAL sont actuellement stockés dans MongoDB, ce qui représente 99% du volume de la base de données. Nous souhaitons externaliser ce stockage vers un stockage S3 hébergé chez OVH pour que Mongo occupe moins de ressources sur le serveur et accélérer les backups.
Cette migration se fera en trois étapes :
Cette PR correspond à la première étape de cette migration.
Pour tester
yarn installnode migrations/migration-files-to-s3-storage.js