splor-mg / dados-totais-armazem-siafi

0 stars 0 forks source link

incorpora recurso de valor de cota aprovada líquida #34

Closed carloshob closed 2 months ago

carloshob commented 2 months ago

Incorporei os recurso de cota aprovada líquida, rodei o validate e o build, e ambos se comportaram conforme esperado. image

No entanto, não consegui compreender muito bem o porquê, quando rodo o make all, de ambas as bases, current e previous, ficarem sem variável de "Valor Cota Aprovada Líquida".

Ao meu ver, isso era esperado para o current, já que é por padrão buscado no email (ainda no formato anterior), porém não para o previous.

De toda forma, entendo que as alterações já estão prontas para serem validadas. Caso tudo esteja ok, restará alterar as consultas no armazém com respectiva programação.

hslinhares commented 2 months ago

No entanto, não consegui compreender muito bem o porquê, quando rodo o make all, de ambas as bases, current e previous, ficarem sem variável de "Valor Cota Aprovada Líquida". Ao meu ver, isso era esperado para o current, já que é por padrão buscado no email (ainda no formato anterior), porém não para o previous.

@hslinhares me corrija, mas se não me engano a gente coloca a extração do previous também pra identificar se houve alteração no Armazém, ainda que forma momentânea, das séries históricas. Por isso que rodando o make extract as três bases são baixadas:

make extract
python3 main.py extract
INFO [2024-05-07 09:48:56] Extracting attachment totais-siafi-execucao-previous-2024-05-07-06-32-57.csv
INFO [2024-05-07 09:48:57] Extracting attachment totais-siafi-restos-pagar-2024-05-07-06-29-04.csv
INFO [2024-05-07 09:48:58] Extracting attachment totais-siafi-execucao-current-2024-05-07-06-00-57.csv

Não sei até que ponto isso realmente é necessário.

Sobre a demanda em si, eu fiquei surpreso com o fato de que você inseriu uma coluna com o valor da cota aprovada líquida e não um recurso diferente. No geral as recomendações do Armazém são pra gente não fazer isso:

  • Nunca se deve misturar informações de assuntos diferentes ao se elaborar uma consulta no Armazém
  • Dicas ao utilizar objetos de valor (não utilizar vários objetos de valor em uma mesma consulta)

Na apresentação:

image

Você chegou a verificar se o valor estava correto? Se tiver podemos manter na mesma consulta pra diminuir o número de consultas agendadas.

Pra finalizar algumas observações de processo:

  • não utilizar acentos nos nomes do branch (eg. cota-aprov-líquida)
  • iniciar o pull request com a descrição "Closes https://github.com/splor-mg/repo/issues/##"
  • me atribuir como revisor quando estiver pronto para revisão
  • não fazer commit de arquivos que vão gerar conflito com o branch main e que serão gerados quando o código for mergeado durante e execução normal (eg. data-raw/totais-siafi-execucao-current.csv, data/totais_execucao_siafi.csv, datapackage.json)

@fjuniorr respondendo a primeira pergunta. A base totais-siafi-execucao-previous é gerada diariamente porque no controle antigo que eu fazia dentro do painel do relatorio operacional era comum acusar alterações nos valores de vlr_pago_orcamentario e vlr_pago_financeiro de meses e/ou anos anteriores. Inclusive valores de restos a pagar que não estamos ainda fazendo essa verificação. Em 2023 o controle do painel acusou que valores da execução de restos a pagar do ano de 2020 no armazém estavam diferentes das bases já baixadas.

hslinhares commented 2 months ago

@fjuniorr e @carloshob em relação a cota aprovada líquida. Realmente não é recomendável misturar valores do fluxo de cota, com o de execucao, por exemplo. Mesmo neste caso que existam somente as dimensões Ano de Exercício e Mês - Numérico. Para não correr o risco de valores errados eu sempre faço o cruzamento fora do armazém. Por experiência prática própria, não é raro o armazém cruzar valores errados, sem que tenhamos pista do erro.

carloshob commented 2 months ago

@fjuniorr considerando a ponderação que o @hslinhares fez a respeito da frequência de erros no armazém quando cruzamos componentes de diferentes ASSUNTOS/SUBCLASSES, fiz as alterações no intuito de implementar novo recurso - não uma nova coluna.

Diante da magnitude das alterações, em especial considerando nosso novo padrão de nomenclaturas, acredito que precisarei de uma conversa/alinhamento com você para que eu consiga concluir essas alterações.

Registro ainda que, pelo o que pude observar, minha tentativa de "corrigir" o nome deste branch, retirando o acento, parece não ter sido bem sucedida (GPT me enganou rsrs), de tal forma que as alterações que estou comentando aqui foram implementadas no branch de nome idêntico, porém sem o citado acento.

carloshob commented 2 months ago

PR fechado devido a duplicação do branch (cota-aprov-liquida) contendo as implementações aqui discutidas.