keboola / db-writer-snowflake

Snowflake database writer
MIT License
0 stars 1 forks source link

Table with 0 rows should be truncated #58

Closed yustme closed 5 years ago

yustme commented 5 years ago

Problém

Měl jsem ticket, kdy 2 projekty zapisovali do 1 databáze (to asi není nejlepší nápad). V obou projektech měli 2 stejné tabulky, které měli 0 řádků.

V projektu A měla tabulka kdysi více jak 0 záznamů a nahrála nějaká data do DB. Pak měla tabulka v obou projektech 0 řádků. V projektu B nikdy neměla více jak 0 řádků a když se pokusím pomocí fullload ji nahrát do DB, tak se nic neprovede a zůstanou tam stará data. Když se jí pokusí updatovat projekt A (kde tabulka někdy měla více jak 0 záznamů) se tabulka smaže a vytvoří s 0 rows.

S @pivnicek jsme došli k závěru, že neexistuje na v projektu B csv na S3 a tak se neprovede upload.

Řešení

Pokud pomocí fullload updatujeme tabulku, která má 0 rows, tak se smaže a naplní 0 rows bez ohledu na to jestli v tabulka někdy něco obsahovala.

ErikZigo commented 5 years ago

Je to vec UI, je na to dokonce zalozene issue a rozdelany PR:

https://github.com/keboola/kbc-ui/issues/1855 https://github.com/keboola/kbc-ui/pull/2329