Truncate table + validate structure

[ErikZigo]

POC pro https://github.com/keboola/db-writer-snowflake/issues/49

Validace

Metoda Writer\Snowflake::validateTable() pro validaci mappingu oproti existujici tabulce v DB

Porovnava:

• primarni klice - Writer\Snowflake::checkPrimaryKey()
• seznam sloupcu - Writer\Snowflake::checkColumns()
• datove typy - Writer\Snowflake::checkDataTypes()
  • typ
  • delka
  • nullable
  • default hodnoty

Funguje to tak, ze zavolam query DESC TABLE a vysledek prevedu na pole obsahujici Snowflake\DataType\Definition (rozsiruje https://github.com/keboola/php-datatypes).

Abych to mohl porovnavat s mappingem, tak jsem pridal par metod:

• Snowflake\DataType\Definition::stripDefaultValueQuoting() - Pro string sloupce totiz Snowflake vraci hodnotu quotovanou v popisu tabulky
• Snowflake\DataType\Definition:: getSnowflakeDefaultLength() - defaultni hodnoty size pro jednotlive datove typy
• Snowflake\DataType\Definition:: getSnowflakeBaseType() - z duvodu ze nase interni getBaseType neni kompatibilni s tim jak to funguje ve Snowflaku

Upravy

• Writer\Snowflake::quoteIdentifier() replaced by Snowflake\Connection::quoteIdentifier()
• Writer\Snowflake::quote() moved to Snowflake\Connection::quote()
• Fixnuti nastaveni defaultnich hodnot pro non-string sloupce https://github.com/keboola/db-writer-snowflake/issues/50
• Writer\Snowflake::getColumnsSqlDefinition() vyuziva Snowflake\DataType\Definition::getSQLDefinition() + je tam docasny lokalni fix pro https://github.com/keboola/php-datatypes/issues/17

[ErikZigo]

Vsechny veci jsem se snazil pokryt testy

[Halama]

Když neprojde ta validace tak to hodí user error že? Jak to ale opravím když chci např. přidat nebo odebrat sloupec? Asi tomu chybí nějaká podpora pro akci která to vyřeší ne? tzn. i úprava UI a další featury.

Půjde to v pohodě nasadit aniž by to něco rozbilo? Koukám že tahle feature je teď jenom pro full load tak tam by u pravidelně loadovaných tabulek nemělo hrozit že se struktura bude lišit.

[Halama]

Myslíš si teda že je to takhle publikovatelný? Jestli něco nepřehlížím tak mi přijde že to není ready k nasazení. Tím pádem bych byl pro teď releasnout ten SWAP tabulek, to musí být za dvě hoďky max hotové.

[MiroCillik]

@ErikZigo v tejto issue (posledne 2 commenty) je navrh ako to spravit s tym updatom. https://github.com/keboola/db-writer-common/issues/7

[ErikZigo]

Jakej swap?

[Halama]

ALTER TABLE [ IF EXISTS ] <name> SWAP WITH <target_table_name> https://docs.snowflake.net/manuals/sql-reference/sql/alter-table.html

[Halama]

Jak jsem se v tom vrtal tak jsem to rovnou spíchnul https://github.com/keboola/db-writer-snowflake/pull/55 Jedou nad tím testy, pak to bude chtít případně začistit.

[MiroCillik]

Co teda s tymto @ErikZigo?

[ErikZigo]

@MiroCillik nevim, napada me dodelat:

• synch akce na mazani tabulky v DB
• volitelny atribut u konfigurace synchronizeStructure ten by byl defaultne vypnuty a v UI by se nedal nastavit
• teoreticky by mohla udelat jeste sync akce na validaci struktury 1 tabulky

Fungovalo by to tak, ze by ti failnul writer a ty bys mohl v UI udelat: 1) kliknout na tlacitko smaz tabulku v cilove DB 2) kliknout na tlactiko sesynchronizuj tuhle tabulku To by zalozilo novy job ktery by udelal alter ty cilovy tabulky + do ni nahral data

[michaljurecko]