É um Pipeline de dados desenvolvido para o TCU, com o objetivo de reunir dados referente à transição energética do Brasil até 2050. Usamos Azure e Scripts de extração em Python.
Adicionando os scripts que estão presentes na Azure, que foram utilizados para gerar o pipeline e as transformações nas tabelas de dados. Eles estão em formato (.Json) e podem ser reproduzidos em qualquer pipeline Azure.
Tarefas
[x] Adicionando Scripts Azure do pipeline
[x] Adicionando Scripts Azure da carga de dados do SQL
[x] Adicionando os Scripts necessários para a transformação dos dados.
Descrição
Adicionando os scripts que estão presentes na Azure, que foram utilizados para gerar o pipeline e as transformações nas tabelas de dados. Eles estão em formato (.Json) e podem ser reproduzidos em qualquer pipeline Azure.
Tarefas