search

keboola / db-writer-snowflake

Snowflake database writer
MIT License
0 stars 1 forks source link

External stage collisions #23

Closed Halama closed 6 years ago

Halama commented 7 years ago

Pokud se zapne dvakrat writer pres sebe do stejneho workspace tak se stage prepise a jeden z nich failne. Tohle je samozrejme antipattern ale pokud by sla ta stage odebrat bylo by to lepsi.

Myslim ze se pouzivala jenom kvuli nejakemu bugu ve SNFLK.

https://github.com/keboola/connection/issues/1007

Halama commented 7 years ago

Stage jsem zavadel kvuli tomuhle https://github.com/keboola/db-writer-snowflake/pull/7/commits/51974b4ede88d19232bf7d85d4175ca0ef68e1cf

Halama commented 7 years ago

Asi to nepujde bez ni Data loading transformations only support selecting data from user staging locations and named stages (internal or external).

Halama commented 7 years ago

https://docs.snowflake.net/manuals/sql-reference/sql/copy-into-table.html

Halama commented 7 years ago

dalo by se to řešit tím že by se tam stage pojmenovala např. po id jobu. Ale pak by se to muselo mazat prootže externí stage nemůže být temporary. U té nutnosti mazat se bojím že by to v některých případech kdy by to failnulo mohlo generovat bordel.

Halama commented 7 years ago

^ i když asi by to nemusel být takový problém, nejspíš to tak udělám.