search

splor-mg / dados-sisor

Conjunto de dados da Lei Orçamentária Anual (LOA)
0 stars 0 forks source link

Modificações no schema dos arquivos exportados do SISOR #3

Closed fjuniorr closed 1 year ago

fjuniorr commented 1 year ago

De 2023 para 2024 vários recursos tiveram modificações no leiaute:

frictionless validate datapackage.yaml 
────────────────────────────────────────────────── Dataset ──────────────────────────────────────────────────
                                                   dataset                                                   
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━┓
┃ name                                 ┃ type  ┃ path                                             ┃ status  ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━┩
│ base_orcam_despesa_item_fiscal       │ table │ data-raw/base_orcam_despesa_item_fiscal.html     │ INVALID │
│ base_qdd_plurianual                  │ table │ data-raw/base_qdd_plurianual.html                │ INVALID │
│ base_qdd_plurianual_invest           │ table │ data-raw/base_qdd_plurianual_invest.html         │ INVALID │
│ base_orcam_despesa_investimento      │ table │ data-raw/base_orcam_despesa_investimento.html    │ INVALID │
│ base_detalhamento_obras              │ table │ data-raw/base_detalhamento_obras.html            │ INVALID │
│ base_qdd_fiscal                      │ table │ data-raw/base_qdd_fiscal.html                    │ INVALID │
│ base_qdd_investimento                │ table │ data-raw/base_qdd_investimento.html              │ INVALID │
│ base_orcam_receita_fiscal            │ table │ data-raw/base_orcam_receita_fiscal.html          │ VALID   │
│ base_orcam_receita_investimento      │ table │ data-raw/base_orcam_receita_investimento.html    │ INVALID │
│ base_obras_siad                      │ table │ data-raw/base_obras_siad.html                    │ VALID   │
│ base_categoria_pessoal               │ table │ data-raw/base_categoria_pessoal.html             │ INVALID │
│ base_repasse_recursos                │ table │ data-raw/base_repasse_recursos.html              │ INVALID │
│ base_limite_cota                     │ table │ data-raw/base_limite_cota.html                   │ INVALID │
│ base_intra_orcamentaria_detalhamento │ table │ data-raw/base_intra_orcamentaria_detalhamento.h… │ INVALID │
│ base_intra_orcamentaria_repasse      │ table │ data-raw/base_intra_orcamentaria_repasse.html    │ INVALID │
│ base_unidades_orcamentaria_versoes   │ table │ data-raw/base_unidades_orcamentaria_versoes.html │ VALID   │
└──────────────────────────────────────┴───────┴──────────────────────────────────────────────────┴─────────┘

No geral parece que foi apenas uma normalização das colunas, mas me chamou atenção a inserção de uma coluna GRUPO_FONTE_COD nas bases da despesa. Discussão com DCPPN acontecendo no chat "Bases SIGPLAN/SISOR" do Teams.

fjuniorr commented 1 year ago

De fato as bases incorretas estavam sendo geradas e a PRODEMGE relatou que o erro foi corrigido. Ainda não verifiquei cada base mas estou fechando esse issue em favor de issues dedicados porque parece que a maior parte das bases estão passando:

┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━┓
┃ name                                 ┃ type  ┃ path                                            ┃ status  ┃
┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━┩
│ base_orcam_despesa_item_fiscal       │ table │ data-raw/base_orcam_despesa_item_fiscal.html    │ VALID   │
│ base_qdd_plurianual                  │ table │ data-raw/base_qdd_plurianual.html               │ INVALID │
│ base_qdd_plurianual_invest           │ table │ data-raw/base_qdd_plurianual_invest.html        │ INVALID │
│ base_orcam_despesa_investimento      │ table │ data-raw/base_orcam_despesa_investimento.html   │ INVALID │
│ base_detalhamento_obras              │ table │ data-raw/base_detalhamento_obras.html           │ INVALID │
│ base_qdd_fiscal                      │ table │ data-raw/base_qdd_fiscal.html                   │ VALID   │
│ base_qdd_investimento                │ table │ data-raw/base_qdd_investimento.html             │ VALID   │
│ base_orcam_receita_fiscal            │ table │ data-raw/base_orcam_receita_fiscal.html         │ VALID   │
│ base_orcam_receita_investimento      │ table │ data-raw/base_orcam_receita_investimento.html   │ VALID   │
│ base_obras_siad                      │ table │ data-raw/base_obras_siad.html                   │ VALID   │
│ base_categoria_pessoal               │ table │ data-raw/base_categoria_pessoal.html            │ VALID   │
│ base_repasse_recursos                │ table │ data-raw/base_repasse_recursos.html             │ VALID   │
│ base_limite_cota                     │ table │ data-raw/base_limite_cota.html                  │ INVALID │
│ base_intra_orcamentaria_detalhamento │ table │ data-raw/base_intra_orcamentaria_detalhamento.… │ VALID   │
│ base_intra_orcamentaria_repasse      │ table │ data-raw/base_intra_orcamentaria_repasse.html   │ INVALID │
│ base_unidades_orcamentaria_versoes   │ table │ data-raw/base_unidades_orcamentaria_versoes.ht… │ VALID   │
└──────────────────────────────────────┴───────┴─────────────────────────────────────────────────┴─────────┘