search

ivtavares / vs_code_local_spark_dev

This repository is a template to work with Spark using VS Code and Dev Containers
3 stars 4 forks source link

criar tabela de despesas #4

Open ivtavares opened 10 months ago

ivtavares commented 10 months ago

IVAN

COMO: Engenheiro de Dados POSSO: Acessar a tabela de despesas PARA: Pode utiliza-la na criação de visões de negócio

Critério de Aceite 1 Tabela estar na Silver Dado a informação de orgãos Quando o desenvolvedor precisar acessá-la Então Essa informação deve estar na camada SIlver

Critério de Aceite 2 Tabela estar no formato parquet Dado a informação de orgãos Quando o desenvolvedor precisar acessá-la Então Essa informação deve estar no formato paquet

Critério de Aceite 3 Tabela estar com o schema correto Dado a informação de orgãos Quando o desenvolvedor precisar acessá-la Então Essa informação deve estar com o mesmo schema (nome de coluna e formato) do dicionário

ivtavares commented 10 months ago

https://transparencia.tce.sp.gov.br/conjunto-de-dados

ivanbarcelos90 commented 10 months ago

Tabelas na silver. Como os arquivos são grandes, voce deve baixa-los e adicionar no bucket bronze do minio. E executar o notebook bronze_to_silver

https://transparencia.tce.sp.gov.br/sites/default/files/conjunto-dados/despesas-2023.zip