splor-mg / dpm

Data Package Manager
0 stars 0 forks source link

Implementar `dpm load` #43

Closed fjuniorr closed 12 months ago

fjuniorr commented 1 year ago

Ao que tudo indica vamos usar postgres como banco de dados tendo em vista que foi o único banco de dados que conseguimos conectar sem problemas no qlikview e no powerBI.

Além disso, como ele possui arquitetura cliente-servidor tudo indica que será possível agendar o refresh no PowerBI sem necessidade de ferramentas de automação GUI.

No entanto, para fins de desenvolvimento e testes e interessante que os data packages sejam carregados localmente, então também adicionar suporte no dpm load para sqlite e/ou duckdb.

Spec

dpm load --engine dialect+driver://username:password@host:port/database

Execuções repetidas do dpm load devem usar as informações do data.lock para recarregar somente os recursos em que houve alterações da hash usando uma estratégia de truncate and load.

fjuniorr commented 1 year ago

Alguns issues decorrentes da implementação desse issue: