search

VctrEman / datasus-datamodel

Data model to provide reliable and accessible to the brazilian people
MIT License
1 stars 0 forks source link

Story: Como analista, eu gostaria de ter acesso ao lakehouse do BigSUS no Kaggle, com dados atualizados anulamente. #9

Open VctrEman opened 2 hours ago

VctrEman commented 2 hours ago

Com o que posso contar? job que traz novas partições usando o spark no azure

O que será necessário fazer?

Job que extrai dados de X ( e coloca na pasta silver/SIA/partição no kaggle

O job precisa autenticar e colocar os dados na pasta do destino no kaggle Job que atualiza os dados de X (spark silver SI)

Adaptar job silver SI para rodar na aws e localmente O job precisa ser executável em ambiente local

Validar autenticação pro kaggle e a escrita do dado no lakehouse.

X = qualquer lugar, incluse local

VctrEman commented 2 hours ago

Como simular o kaggle?

VctrEman commented 1 hour ago

Job coloca partição nova no kaggle Job autentica no kaggle Job limpa a partição do SIA Job baixa a partição do SIA