Voila encore une version naive d'un backup possible de datawarhouse. Je l'ai test en local, il reste un peu d'ajustement pour que ca fonctionne en prod.
La plus grosse limitation que je vois, c'est qu'on utilise le psql d'airflow pour executer le dump de la base postgres. Du coup idealement il faudrait qu'on ai les meme versions a minima donc ca veux dire changer la version de bdd d'airflow aussi...
La deuxieme limitation, c'est qu'on fait tourner le backup directement sur le container airflow, et si un moment ca scale mal, ca fait planter le reste des traitements.
Si vous avez une autre idee en tete je suis preneur...
Voila encore une version naive d'un backup possible de datawarhouse. Je l'ai test en local, il reste un peu d'ajustement pour que ca fonctionne en prod.
La plus grosse limitation que je vois, c'est qu'on utilise le psql d'airflow pour executer le dump de la base postgres. Du coup idealement il faudrait qu'on ai les meme versions a minima donc ca veux dire changer la version de bdd d'airflow aussi...
La deuxieme limitation, c'est qu'on fait tourner le backup directement sur le container airflow, et si un moment ca scale mal, ca fait planter le reste des traitements.
Si vous avez une autre idee en tete je suis preneur...