Valider l'anonymisation

[gary-van-woerkens]

Il faut valider que le processus d'anonymisation fonctionne correctement sur Domifa.

• [x] Se sync avec Yassine pour déterminer ce qu'il reste a faire
• [x] Valider la partie création du dump anonymisé et upload sur S3
• [ ] Valider la partie récupération du dump anonymisé et intégration en preprod
• [ ] Automatiser la creation du dump de prod (cronjob suspended)

[gary-van-woerkens]

Il existe un cronjob cron-anonymizer (déclaré dans manifests) en sur le cluster de prod que l'on peut déclencher à la main:

Si on déclenche le cron-anonymizer on créé un job qui effectue le dump anonymisé mais qui ne parvient pas à l'upload sur S3:

anonymizer upload failed: ../../tmp/pg_dump/1718789487940/5974.dat.gz to s3://domifa-dev-backups/anonymizer/pg_dumps/1718789487940/5974.dat.gz Unable to locate credentials                                                                                
anonymizer upload failed: ../../tmp/pg_dump/1718789487940/5975.dat.gz to s3://domifa-dev-backups/anonymizer/pg_dumps/1718789487940/5975.dat.gz Unable to locate credentials                                                                                
anonymizer upload failed: ../../tmp/pg_dump/1718789487940/toc.dat to s3://domifa-dev-backups/anonymizer/pg_dumps/1718789487940/toc.dat Unable to locate credentials                                                                                        
anonymizer upload failed: ../../tmp/pg_dump/1718789487940/5957.dat.gz to s3://domifa-dev-backups/anonymizer/pg_dumps/1718789487940/5957.dat.gz Unable to locate credentials                                                                                
anonymizer upload failed: ../../tmp/pg_dump/1718789487940/metadata.json to s3://domifa-dev-backups/anonymizer/pg_dumps/1718789487940/metadata.json Unable to locate credentials                                                                            
degit-repository > destination directory is empty                                                                                                                                                                                                          
degit-repository > cloned SocialGouv/domifa#chore/anonymisation-pipeline to /workspace

Le secret utilisé pour accéder au bucket S3 est domifa-dev-backups-access-key:

- secretRef:
    name: domifa-dev-backups-access-key

Conclusion

Souci lié au formatage des noms des variables dans le secret ciblé. Apres une petite modification de Manifests, ca fonctionne. Le commit: https://github.com/SocialGouv/manifests/commit/67bf537b0988daa0780b26c60612b74b352d0bfc