Issue #4: Desenvolver transformações utilizando Apache Spark (João Pedro)

[BrunoSupriano]

Tarefas:

Implementar notebooks no Databricks para transformar os dados da camada Bronze.

Realizar limpezas, filtros, agregações e outras operações de processamento utilizando Apache Spark.

Mover dados transformados para as camadas Silver e Gold, assegurando a qualidade e a integridade dos dados.

[jpdarabas]

Bronze:

• Gerar um DataFrame para cada tabela a partir de cada arquivo csv gravado na Landing Zone
• Adicionar metadados de data e hora de processamento e nome de arquivo de origem
• Salvar em Delta (formato de arquivo) no Datalake (repositório cloud).

Silver:

• Gerar um DataFrame para cada tabela a partir dos arquivos delta da camada bronze
• Retirar abreviações
• Padronizar nomes de colunas (letras todas minúsculas, palavras divididas por "_")

Gold:

• Separar endereço
• Separar data e hora
• Organizar tabela fato e dimensões com base no modelo dimensional previsto

[jpdarabas]

Camadas finalizadas.

Um resumo atualizado das transformações realizadas por cada camada:

Bronze:

• Gerar um DataFrame para cada tabela a partir de cada arquivo csv gravado na Landing Zone
• Adicionar metadados de data e hora de processamento e nome de arquivo de origem
• Salvar em Delta (formato de arquivo) no Datalake (repositório cloud).

Silver:

• Gerar um DataFrame para cada tabela a partir dos arquivos delta da camada bronze
• Retirar abreviações
• Padronizar nomes de colunas (letras todas minúsculas, palavras divididas por "_")
• Padronizar os valores das colunas de contato/telefone para somente números
• Separar a coluna de endereço em várias colunas (logradouro, número da residência (se houver), bairro, cidade e UF)
• Transformar a coluna de tempo de entrega para minutos (estava como string "hh:mm:ss")
• Excluir coluna de restrições de tráfego que não apresentava dados
• Atualizar tipo de dado de colunas que deveriam ser float
• Salvar em Delta (formato de arquivo) no Datalake (repositório cloud).

Gold:

• Gerar um DataFrame para cada tabela a partir dos arquivos delta da camada silver
• Criar tabelas dimensão, gravando elas na container Gold do Datalake
• Popular as tabelas dimensão a partir de tabelas temporárias criadas com os DataFrames
• Realizar transformações de dados restantes para a criação da tabela fato
• Criar tabela fato com as métricas e ligação com as dimensões
• Popular a tabela fato a partir das dimensões e de tabelas temporárias criadas com os DataFrames