Writer 2.0

[Halama]

Aktuálně writer funguje tak že dostane libovolné SNFLK credentials a zapíše do databáze pomocí S3 COPY. Tohle je bez problému pro Snowflake účty dodané přímo zákazníky, mají to pod kontrolou.

Problematičtější je to pro writery které poskytuje Keboola - tzn. SNFLK schémata které leží ve stejné SNFLK accountu jako samotný backend projekt:

• Writer musí alterovat timeout workspace aby byl schopný zapstat https://github.com/keboola/db-writer-snowflake/blob/0c1c0d8d6532cf9b69070c14cd783b062aa9d1a6/src/Keboola/DbWriter/Writer/Snowflake.php#L58 Ta možnost alteru až to SNFLK bude podporovat by se měla zrušit
• Zbytečně se zapisuje přes S3 kde je velká režie pro menší inkrementální loady https://keboola.productboard.com/feature-board/6271-planning/features/340057
• Credentials k workspace musí být uložené v konfiguraci
• Workspace kvůli tomu musí mít práva na COPY commandy a díky tomu hrozí zneužití workspace k něčemu jinému

Writer by tedy měl podporovat pro Keboola provisioned credentials přímo prací s workspaces. Představa je taková že taková konfigurace by měla u sebe uloženu pouze referenci na workspace a mohla by vypadat např.:

{
      "workspaceId": 234,
      "tables": [
        {
          "tableId": "simple",
          "dbName": "simple",
          "export": true, 
          "incremental": true,
          "primaryKey": ["id"],
          "items": [
            {
              "name": "id",
              "dbName": "id",
              "type": "int",
              "size": null,
              "nullable": null,
              "default": null
            }
          ]                                
        }
      ]
    }

V tomhle případě by komponenta provedla Load data into workspace, k tomu by musela podporovat forward_token. Workspace by připravilo UI a credentials do něj ukázalo pouze jednou. Nově by podporovalo jejich reset - vygenerování nového hesla. UI bude pracovat z workspaces napřímo, využité Provisioningu úplně odpadne.

Původní funkčnost kdy jsou zadány celé credentials bude zachována pouze bude v appce přepnutí chování podle toho jaký typ credentials dostane. Zbytek konfigurace by měl být nezávislý na typu credentials, tzn. v obou případech bude vyplněný Input Mapping. Aby komponenta zbytečně neprováděla IM v případě Keboola workspace bude input mapping komponenty disablovaný pomocí staging_storage.input: none. Komponenta v případě že bude mít zadané db credentials bude muset provést IM sama pomocí https://github.com/keboola/input-mapping

Aby to celé fungovalo bude potřeba v dalších komponentách:

SAPI

• [x] Workspaces - možnost resetnout heslo https://github.com/keboola/connection/issues/829
• [x] Workspaces - inkrementální load https://github.com/keboola/connection/issues/828
• [x] Workspaces - (tohle je asi volitelné) možnost při vytváření říct komponentu které patří https://github.com/keboola/connection/issues/838

Docker Runner

• [x] podpora disablovani IM https://github.com/keboola/docker-bundle

Výchází to z issue https://github.com/keboola/connection/issues/820 kde jsme se o tom bavili.

[Halama]

disablovani IM hotove https://github.com/keboola/db-writer-snowflake/issues/19

[Halama]

PB issue https://keboola.productboard.com/feature-board/6271-planning/features/340057

[Halama]

Ještě mě napadla jedna věc ohledně config rows. U varianty kdy to zapisuje do "cizího" snowflake by se hodilo kdyby jednotlivé tabulky na export byly uložené v rows. Zafungovalo by tak správně disablování atd.

U varianty kdy to loaduje přímo do workspace by to zase naopak nemělo být v config rows at tam není zbytečná režie a udělá se to celé v jednom SAPI jobu.

Nevím jestli ta kombinace obou chování by nebyl moc velký bastl. Zatím bych to asi nechal. Třeba z toho přímého loadovače do workspace časem vyleze něco čemu budeme říkat jinak než writer, občas se to někde nakouslo.

[ondrejhlavacek]

Možná ta režie nebude tak velká? Pokud někdo bude zapisovat desítky tabulek, tak asi jo :-/ Bastl to bude asi jen v UI, ale nějakým šikovným adaptérem by to nemuselo bejt tak hrozný (odpojení vizualizace configu od jeho uložený struktury).

[Halama]

Velka nebude ale precijenom to bude znat, zvlast v moment kdy treba ten load interne prepneme na CLONE.