splor-mg / dados-aux-classificadores

0 stars 0 forks source link

Utilizar dois arquivos de dados por recurso na propriedade `path` #7

Closed fjuniorr closed 5 months ago

fjuniorr commented 5 months ago

Atualmente o recurso possui um arquivo de dados para cada ano

  - name: tbl-aux-acao-desc
    title: 'tabela auxiliar ação descrição'
    type: table
    path: ["data-raw/tbl-aux-acao-desc-2024.csv", "data-raw/tbl-aux-acao-desc-2023.csv",
    "data-raw/tbl-aux-acao-desc-2023.csv", "data-raw/tbl-aux-acao-desc-2022.csv",
    "data-raw/tbl-aux-acao-desc-2021.csv", "data-raw/tbl-aux-acao-desc-2020.csv",
    "data-raw/tbl-aux-acao-desc-2019.csv", "data-raw/tbl-aux-acao-desc-2018.csv", 
    "data-raw/tbl-aux-acao-desc-2017.csv"]
    scheme: file
    format: csv
    mediatype: text/csv
    encoding: utf-8
    dialect: dialect.yaml
    schema: schemas/tbl-aux-acao-desc.yaml

Para simplificar a geração dos arquivos podemos usar a abordagem do armazem-siafi-totais-dados de somente dois arquivos de dados por recurso com dados:

  - name: totais_execucao_siafi
    type: table
    path: ["data-raw/totais-siafi-execucao-current.csv", "data-raw/totais-siafi-execucao-previous.csv"]
    scheme: file
    format: csv
    mediatype: text/csv
    encoding: utf-8
    dialect: dialect.yaml
    schema: schemas/totais-execucao-siafi.yaml

Concordam @hslinhares e @carloshob?

hslinhares commented 5 months ago

Concordo @fjuniorr @carloshob já que vamos manter como um repositório a parte e não como recursos do armazem-siafi-dados

carloshob commented 5 months ago

Concordo, @fjuniorr!

carloshob commented 5 months ago

Nota

Foi feita a atualização das bases e respectivas consultas, estas, agora salvas no Armazém em AID/tabelas-auxiliares-dados. Não sei se o mais assertivo seria acrescentar "-dados" ao final do nome dessa consulta - o fiz, pois achei mais aderente aos nossos alinhamentos.

Pondero que as bases ficaram muito grandes!

Realizei os ajustes dos schemas e datapackage, especialmente retirando o parâmetro de UO nas consultas em que este estava abundante - commit 6269d5d

Encaminhamentos/pendências

fjuniorr commented 5 months ago

Pondero que as bases ficaram muito grandes!

Por algum motivo os dados repetidos não estão sendo agregados:

image

carloshob commented 5 months ago

Para registro, percebemos que o problema da não agregação dos dados na hora de exportar as consultas se devia ao fato de termos retirado a variável de valor (crédito autorizado) e feita a exportação de "dados", não de "relatório".

Observou-se, portanto, que o problema poderia ser solucionado tanto retornando a variável de valor e expotando "dados", como mantendo a ausência da variável de valor e exportando o "relatório" no formato csv. Entendeu-se que, por ser mais prático, o problema seria solucionado pela primeira alternativa, a de retorno da variável de valor.