search

keboola / php-db-import

MIT License
4 stars 0 forks source link

Snowflake sql exceptions #55

Closed yustme closed 5 years ago

yustme commented 5 years ago

Vytvořil jsem Exception resolver pro snowflake query a přidal první case, kdy se importují větší data než je velikost buňky.

Halama commented 5 years ago

After release this will fix the https://github.com/keboola/connection/issues/927 in kbc.

yustme commented 5 years ago

@Halama teďka se vrací 

Keboola\StorageApi\ClientException : String 'xxxxxxxxxxxxxxx' cannot be inserted because ...

Je to teda v storage-api-php-client. Já moc nevím jak to otestovat "produkčně".

Halama commented 5 years ago

@yustme nerozumím dotazu :) do sapi klienta to asi potřeba kvůli tomuhle není. Je potřeba to dostat do kbc tu novou verzi.

yustme commented 5 years ago

@Halama špatně jsem to popsal, promiň.

Testuju to tak, že v SAPI klientovi udělám:

        $tableId = $this->_client->createTableAsync($this->getTestBucketId(self::STAGE_IN), 'large-one-row', $csv);
        $result = $this->_client->writeTableAsync($tableId, $csv);

to zařadí do fronty zpracování souboru. V connection spustím zpracováná fronty:

 php scripts/cli.php s:r:q main 1

Tam se to zpracuje a vyhodí to myslím INFO, že se to nepodařilo, protože je to moc dlouhý.

->writeTableAsync(...) pak v SAPI vrátí to co jsem psal. Jde mi o to jestli to je požadovaný výsledek? Nebo jestli je potřeba ještě něco někde doplnit. Díky ;)

Halama commented 5 years ago

@yustme jo to by měl být ten požadovaný výsledek.

Halama commented 5 years ago

Vypadá to dobře. @yustme mergni to prosím a releasni jako patch verzi https://github.com/keboola/php-db-import/releases tedy 4.1.1.

yustme commented 5 years ago

@Halama done ;) V connection je: "keboola/php-csv-db-import": "^4.1", Takže další deploy by se to mělo nainstalovat :+1:

Halama commented 5 years ago

@yustme V connection budeš muset v tom PR kde to řešíš zavolat composer update keboola/php-csv-db-import aby to přepálilo composer.lock.