Story: Como analista, eu gostaria de ter acesso ao lakehouse do BigSUS no Kaggle, com dados atualizados anulamente.

[VctrEman]

Com o que posso contar? job que traz novas partições usando o spark no azure

O que será necessário fazer?

Job que extrai dados de X ( e coloca na pasta silver/SIA/partição no kaggle

O job precisa autenticar e colocar os dados na pasta do destino no kaggle Job que atualiza os dados de X (spark silver SI)

Adaptar job silver SI para rodar na aws e localmente O job precisa ser executável em ambiente local

Validar autenticação pro kaggle e a escrita do dado no lakehouse.

X = qualquer lugar, incluse local

[VctrEman]

Como simular o kaggle?

[VctrEman]

Job coloca partição nova no kaggle Job autentica no kaggle Job limpa a partição do SIA Job baixa a partição do SIA