que se passe-t-il avec pushers_aggregate

[odelcroi]

94 millions de lignes semble exagéré

[odelcroi]

Chaque jour, un snapshot des configuration des "pushers" sont exportés sur S3 :

selon ce shéma: user_name, device_id, app_id, kind, enabled, instance, domain

Puis ajouter à la base pushers_aggregate selon le même schéma

La base pushers aggregate ne possede pas de unique index. Elle accumule les snapshots importés depuis la mise en place du pipeline.

Cette table est utilisé sur les dashboards suivants : https://stats.tchap.incubateur.net/reference/databases/2/tables/24/questions

[odelcroi]

Actuellement la table est inutile car il n'y a pas de données temporelles qui permettraient de comprendre l'évolution ou à minima de connaitre la derniere valeur connue.

Proposition : 1/ quick fix

• [x] effacer toutes les données (gagner de l'espace)
• [x] ajouter une colonne added_date avec une date d'insertion

2/ refactoring

• transformer cette table en historique de moficiation des pushers : on n'ajoute une ligne que si la configuration du device a changé example :
• device iphone de Alexia a activé un pusher
• device web de Robert a desactivé un pusher web
• Jean-Marie a activé un pusher mail