[x] Les données de date doivent être importé dans un champs date
[x] Tester le merge sur des petites données (3 lignes)
[x] Tester le merge sur des grosses données (prod)
~scale up la taille de la DB ?~ -> l'upsert met mois de 5 min, ca va comme ca.
[x] format de dates ?
[x] champs NOT NULL dans le schema
[x] timer le job pour voir si ca met plus que 24h
[x] enlever les espaces apres les virgules, qui apparaissent au debut des strings
[x] Mettre le cron une fois par jour à 6h du mat
[x] checker que les fichiers sur le filesystem scalingo sont supprimés à chaque run du cron job
Events :
[x] schema : memes champs que pour aggregate + type VARCHAR
[x] enlever les espaces apres les virgules, qui apparaissent au debut des strings
[x] enlever "(1234567 rows)" a la fin du fichier d'export
[x] decider du format final du csv : events,type,domain,hour,instance ou events,domain,hour,instance,type ?
-> ca sera events,type,domain,hour,instance
[x] Tester le merge sur des petites données (3 lignes)
[x] Tester le merge sur des grosses données (prod)
[x] timer le job pour voir si ca met plus que 24h
First insert in empty table, 3051210 rows : real 10m8.808s - surtout sur l'INSERT, le COPY dans la TEMPORARY TABLE prend dans les 5-10s.
Second insert (adds 1 row) : real 0m48.927s. (??)
Subscriptions :
[x] checker que les fichiers sur le filesystem scalingo sont supprimés à chaque run du cron job
Events :
type VARCHARevents,type,domain,hour,instanceouevents,domain,hour,instance,type? -> ca seraevents,type,domain,hour,instance[x] timer le job pour voir si ca met plus que 24h First insert in empty table, 3051210 rows :
real 10m8.808s- surtout sur l'INSERT, le COPY dans la TEMPORARY TABLE prend dans les 5-10s. Second insert (adds 1 row) :real 0m48.927s. (??)A la fin :
Plus tard :