Retornar com recursos de planejamento e orçamento excluídos

[fjuniorr]

Excluídas de todos os locais

• dm_emenda_orcam
• dm_fonte_plan
• dm_responsavel_plan
• dm_indicador_plan
• dm_tipo_prog_plan
• dm_tipo_orcam_plan
• dm_tipo_acao_plan
• dm_territorio_plan
• dm_programa_plan
• dm_ppag_plan
• dm_orgao_plan
• dm_municipio_plan
• dm_horizonte_plan
• dm_funcao_plan
• dm_autor_emenda
• dm_decreto
• dm_indicador_acao
• sa_indicador_acao
• dm_acao_orcam
• dm_categ_econ_orcam
• dm_fonte_orcam
• dm_funcao_orcam
• dm_subfuncao_orcam
• dm_grupo_orcam
• dm_programa_orcam
• dm_procedencia_orcam
• dm_orgao_orcam
• dm_indic_acao_orcam
• dm_modal_aplic_orcam
• dm_unidade_resp_plan
• dm_municipio_obra
• dm_obra
• dm_orgao_obra
• dm_situacao_obra
• dm_territorio_planeja

Excluida somente da pasta schemas/ (não estava no datapackage.yaml)

• dm_acao_plan

[fjuniorr]

O age7.yaml com o mapeamento das consultas é

consultas:
  mapa-de-investimento:
    title: Mapa de Investimento
    url: http://transparencia.mg.gov.br/despesa-estado/mapa-de-investimento
    fact_tables:
      - ''
  planejamento-e-monitoramento:
    title: Planejamento e Monitoramento
    url: http://www.transparencia.mg.gov.br/planejamento-e-resultados/planejamento-e-monitoramento
    fact_tables:
      - ft_plan_acao_ppag
      - fl_plan_indicador
      - ft_plan_indic_referencia
      - ft_plan_indic_plan_exec
      - fl_plan_programa
      - fl_plan_responsavel
      - ft_plan_exec_of_tipoorc
      - ft_plan_exec_of_territorio
      - ft_plan_exec_of_fonte
      - fl_plan_acao
      - ft_plan_fonte_fin_acao
      - ft_plan_prog_fftd
      - ft_plan_prog_mensal
      - ft_plan_prog_territorial
      - ft_plan_execucao_acao
      - ft_plan_prog_of_tipoorc
      - ft_plan_prog_of_territorio
      - ft_plan_prog_of_fonte
  proposta-lei-orcamentaria:
    title: Proposta Orçamentária e Lei Orçamentária
    url: http://www.transparencia.mg.gov.br/planejamento-e-resultados/proposta-lei-orcamentaria
    fact_tables:
      - ft_orcamento_proposta
      - ft_orcamento_emenda
      - ft_orcamento_cred_alt
      - ft_obra

fact_tables:
  ft_orcamento_proposta:
      - dm_acao_orcam
      - dm_categ_econ_orcam
      - dm_fonte_orcam
      - dm_funcao_orcam
      - dm_grupo_orcam
      - dm_indic_acao_orcam
      - dm_modal_aplic_orcam
      - dm_orgao_orcam
      - dm_procedencia_orcam
      - dm_programa_orcam
      - dm_subfuncao_orcam
      - dm_tempo_anual

  ft_orcamento_emenda:
      - dm_autor_emenda
      - dm_emenda_orcam
      - dm_tempo_anual

  ft_orcamento_cred_alt:
      - dm_acao
      - dm_categ_econ
      - dm_decreto
      - dm_fonte
      - dm_funcao_desp
      - dm_grupo_desp
      - dm_indicador_acao
      - dm_modalidade_aplic
      - dm_procedencia
      - dm_programa
      - dm_subfuncao_desp
      - dm_tempo_anual
      - dm_unidade_orc
      - sa_indicador_acao

  ft_obra:
      - dm_municipio_obra
      - dm_obra
      - dm_orgao_obra
      - dm_situacao_obra
      - dm_tempo_anual
      - dm_territorio_planeja

  ft_plan_acao_ppag:
      - dm_acao_plan
      - dm_funcao_plan
      - dm_horizonte_plan
      - dm_municipio_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_territorio_plan
      - dm_tipo_acao_plan
      - dm_tipo_orcam_plan
      - dm_tipo_prog_plan
      - dm_unidade_resp_plan

  fl_plan_indicador:
      - dm_indicador_plan
      - dm_programa_plan

  ft_plan_indic_referencia:
      - dm_indicador_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  ft_plan_indic_plan_exec:
      - dm_indicador_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  fl_plan_programa:
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  fl_plan_responsavel:
      - dm_acao_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_responsavel_plan

  ft_plan_exec_of_tipoorc:
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_tipo_orcam_plan

  ft_plan_exec_of_territorio:
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_territorio_plan

  ft_plan_exec_of_fonte:
      - dm_fonte_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  fl_plan_acao:
      - dm_acao_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  ft_plan_fonte_fin_acao:
      - dm_acao_plan
      - dm_fonte_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  ft_plan_prog_fftd:
      - dm_acao_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_territorio_plan

  ft_plan_prog_mensal:
      - dm_acao_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  ft_plan_prog_territorial:
      - dm_acao_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_territorio_plan

  ft_plan_execucao_acao:
      - dm_acao_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_territorio_plan
      - dm_acao_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

  ft_plan_prog_of_tipoorc:
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_tipo_orcam_plan

  ft_plan_prog_of_territorio:
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan
      - dm_territorio_plan

  ft_plan_prog_of_fonte:
      - dm_fonte_plan
      - dm_orgao_plan
      - dm_ppag_plan
      - dm_programa_plan

[gabrielbdornas]

@fjuniorr, fluxo utilizado para publicação dos conjuntos com base no retorno dos recursos:

• Construção da documentação do conjunto na pasta datasets via dtamg-py etl-make build-documentation-folder

• Inclusão de todas as tabelas fato dos conjuntos "Planejamento e Monitoramento" e "Proposta Orçamentária e Lei Orçamentária" no arquivo datapackage.yaml;

• Inclusão de todos os schemas das tabelas fato dos conjuntos "Planejamento e Monitoramento" e "Proposta Orçamentária e Lei Orçamentária" na pasta schemas. Fiz manualmente, utilizando o dbeaver para dar um select em todas as tabelas e exportar arquivos CSVs. Com estes arquivos criei os schemas em yaml rodando frictionless validate --type schema no terminal;

• Rodei a os comandos da sequência do arquivo all.sh:

  • make parse;
  • make full-extract;
  • make ingest;
  • make data;
  • make validate;
  • make datapackage.json;
  • make test; e
  • make build.

• Rodei dpckan dataset create dentro das pastas (build_datasets) construídas para os conjuntos "Planejamento e Monitoramento" e "Proposta Orçamentária e Lei Orçamentária".

Agora será necessário completar a documentação dos conjuntos corrigindo erros encontrados ao longo do processo.