search

ivtavares / vs_code_local_spark_dev

This repository is a template to work with Spark using VS Code and Dev Containers
3 stars 4 forks source link

criar tabela de autoridades municipais #5

Open ivtavares opened 8 months ago

ivtavares commented 8 months ago

IVAN

COMO: Engenheiro de Dados POSSO: Acessar a tabela de autoridades de municipais PARA: Pode utiliza-la na criação de visões de negócio

Critério de Aceite 1 Tabela estar na Silver Dado a informação de orgãos Quando o desenvolvedor precisar acessá-la Então Essa informação deve estar na camada SIlver

Critério de Aceite 2 Tabela estar no formato parquet Dado a informação de orgãos Quando o desenvolvedor precisar acessá-la Então Essa informação deve estar no formato paquet

Critério de Aceite 3 Tabela estar com o schema correto Dado a informação de orgãos Quando o desenvolvedor precisar acessá-la Então Essa informação deve estar com o mesmo schema (nome de coluna e formato) do dicionário

ivanbarcelos90 commented 8 months ago

Tabelas na silver. Como os arquivos são grandes, voce deve baixa-los e adicionar no bucket bronze do minio. E executar o notebook bronze_to_silver

https://transparencia.tce.sp.gov.br/sites/default/files/conjunto-dados/siapnet/6-siap-net-orgaos-municipais-autoridades-2016.zip