search

BaseAdresseNationale / moissonneur-bal

Service de moissonnage des Bases Adresses Locales
2 stars 0 forks source link

migrate files to s3 storage #74

Closed fufeck closed 11 months ago

fufeck commented 11 months ago

Contexte

Les fichiers CSV des BAL sont actuellement stockés dans MongoDB, ce qui représente 99% du volume de la base de données. Nous souhaitons externaliser ce stockage vers un stockage S3 hébergé chez OVH pour que Mongo occupe moins de ressources sur le serveur et accélérer les backups.

Fonctionnalité

Remplacer la collection fs.files par une collection files pour les metadatas des fichiers et la collection fs.chunk par le stockage S3 de la data des fichier.

fufeck commented 11 months ago

Dans l'état actuel, si le fichier n'existe pas sur le S3, ça renvoie une erreur 500, y'a pas de propriété filename dans ce qui est renvoyé par mongo.getFile Capture d’écran 2023-08-08 à 18 07 25

Il y avait bien un filename mais c'était les metaData, j'avais fait une coquille dans le WriteFile du model File. C'est good normalement