keboola / db-writer-redshift

Redshift database writer
MIT License
0 stars 0 forks source link

Vacuum after incremenal load #14

Open Halama opened 6 years ago

Halama commented 6 years ago

Tabulky které jsou pravidelně inkrementálně loadovány zabírají čím dál tím více místa. Řešením je čas od času nad nimi pustit VACUUM. Je potřeba dát pozor na to že vaccum command může běžet jenom jednou na clusteru. Tabulku také není potřeba vacuuovat po každém loadu ale ze statistik v RS se dá detekovat jestli je vacuum potřeba. https://github.com/keboola/connection/blob/642fcc3ff0896e1a49c010de47daeffd69867201/application/modules/storage/services/BucketBackend/Redshift.php#L1014

Halama commented 6 years ago

kontext https://keboola.slack.com/archives/C02CGK5CL/p1524461950000085