Recursos dm_empenho_desp publicados sem registros

[fjuniorr]

Vários anos do dm_empenhodesp* estão sendo publicados sem linhas (2017, 2019, 2022, 2023) ou com poucas linhas em relação aos demais anos (2021):

   79748 datasets/dm_empenho_desp_2015.csv
  542618 datasets/dm_empenho_desp_2016.csv
       1 datasets/dm_empenho_desp_2017.csv
    7731 datasets/dm_empenho_desp_2018.csv
       1 datasets/dm_empenho_desp_2019.csv
  274875 datasets/dm_empenho_desp_2020.csv
      98 datasets/dm_empenho_desp_2021.csv
       1 datasets/dm_empenho_desp_2022.csv
       1 datasets/dm_empenho_desp_2023.csv

[gabrielbdornas]

@fjuniorr, consulta no banco em 12/04/2023 mostrou que os anos indicados retornaram registros:

Analisando todos os arquivos csvs acredito que o problema foi resolvido.

Obs.:

• Os números de alguns anos não bateram na conferência do banco e dos arquivos csv por que os mesmos estavam com um dia de defazagem durante a análise.
• Para replicar a conferência dos csvs basta rodar python despesa_publica/conferencia_dm_empenho_desp.py este commit. Resultado obtido em 12/04/2023:

(venv) ➜  pdt-pandas git:(main) python despesa_publica/conferencia_dm_empenho_desp.py
dm_empenho_desp_2002 data frame created.
dm_empenho_desp_2003 data frame created.
dm_empenho_desp_2004 data frame created.
dm_empenho_desp_2005 data frame created.
dm_empenho_desp_2006 data frame created.
dm_empenho_desp_2007 data frame created.
dm_empenho_desp_2008 data frame created.
dm_empenho_desp_2009 data frame created.
dm_empenho_desp_2010 data frame created.
dm_empenho_desp_2011 data frame created.
dm_empenho_desp_2012 data frame created.
dm_empenho_desp_2013 data frame created.
dm_empenho_desp_2014 data frame created.
dm_empenho_desp_2015 data frame created.
dm_empenho_desp_2016 data frame created.
dm_empenho_desp_2017 data frame created.
dm_empenho_desp_2018 data frame created.
dm_empenho_desp_2019 data frame created.
dm_empenho_desp_2020 data frame created.
dm_empenho_desp_2021 data frame created.
dm_empenho_desp_2022 data frame created.
dm_empenho_desp_2023 data frame created.
Concat data frames
ano_exercicio
2002    606150
2003    558038
2004    573714
2005    626652
2006    703499
2007    722089`
2008    120012
2009    846895
2010    745751
2011    773698
2012    950127
2013    912732
2014    713494
2015    667858
2017    361712
2018    256397
2019    319748
2020    274874
2021    348795
2022    439655
2023    157003
Name: id_empenho, dtype: int64

@fjuniorr, podemos fechar o issue?

[fjuniorr]

@fjuniorr, podemos fechar o issue?

:+1:

[gabrielbdornas]

@silvianafaria e @kesiabomfa, problema relatado resolvido. Favor informar este issue para fechamento da demanda no Faleconosco.

[fjuniorr]

@labanca pra esse caso podemos continuar a investigação nesse issue, porque talvez seja simplesmente o fato de que o novo arquivo não foi publicado.

@gabrielbdornas, dm_empenho_desp_2016.csv.gz com data de atualização 11 de abril de 2023 (agora é 20230413T084242) do Portal ainda está com linhas vazias. Isso é problema de data de atualização?

Ps. Lembrei que dá pra olhar no datapackage.json as linhas na propriedade de validação, aqui o resultado pro dm_empenho_desp_2016.csv.gz

              "stats": {
                "hash": "fa0764e5db03b147ccbd549b8d52f34c",
                "bytes": 101,
                "fields": 9,
                "rows": 0
              }

[gabrielbdornas]

@fjuniorr, acredito que o foi referente à data de atualização sim.

Em conferência após atualização de 13/04/2023:

• Banco:

• Conferência Pandas:

• Resource dm_empenho_desp_2016 do datapackage.json:

"stats": {
                "hash": "3ba8f887cb37a483b6e4fc47e2228394",
                "bytes": 9488278,
                "fields": 9,
                "rows": 542617
              }

Os valores foram exatamente os mesmos para todos os casos.