adaptação do actions para incluir novos arquivos

[Andrelamor]

@gabrielbdornas a @maristelagcafaro não conseguiu atualizar o CRIB no https://homologa.cge.mg.gov.br/dataset/crib porque teria de adicionar um novo recurso para o mês de janeiro de 2023;

eu atualizei a versão do dpckan para a mais recente (0.1.20, da semana passada) e incluí o dialect_v1.json na pasta schema para evitar o erro do "datapackage.get_resource(resource_name).dialect.expand".

Também incluí o arquivo crib_2023.csv manualmente no https://homologa.cge.mg.gov.br/dataset/crib/resource/0a0d3cd4-04da-4c0b-a441-4954c062cfd8 para conseguir gerar um resource_id para ele.

Entretanto, o arquivo do workflow está preparado somente para atualizar os arquivos preexistentes no repositório (dpckan dataset update)?

As funções do dpckan de criação e atualização de um recurso somente não funcionaram na bash/CLI, e as de update também não. As mensagens de erro estão inespecíficas:

Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/dados-mg/CRIB (main)
$ dpckan --ckan-host $HOMOLOGA_HOST --ckan-key $HOMOLOGA_KEY --datastore dataset update
Updating dataset https://homologa.cge.mg.gov.br/dataset/crib
Error during https://homologa.cge.mg.gov.br/dataset/crib updating

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/dados-mg/CRIB (main)
$ dpckan --ckan-host $HOMOLOGA_HOST --ckan-key $HOMOLOGA_KEY dataset update   Updating dataset https://homologa.cge.mg.gov.br/dataset/crib
Error during https://homologa.cge.mg.gov.br/dataset/crib updating

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/dados-mg/CRIB (main)
$ dpckan --ckan-host $HOMOLOGA_HOST --ckan-key $HOMOLOGA_KEY resource update --resource-name crib_2023 --resource-id 0a0d3cd4-04da-4c0b-a441-4954c062cfd8
Usage: dpckan resource [OPTIONS] RESOURCE_NAME COMMAND [ARGS]...

  Funções responsáveis pela criação e atualização de recursos em conjuntos
  de dados publicados em uma instância CKAN.

Options:
  -h, --help  Show this message and exit.

Commands:
  create             Create dataset resource in a CKAN instance.
  diff-resource-cli  Detect changes between datapackage resource an a...
  update             Update dataset resource in a CKAN instance.

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/dados-mg/CRIB (main)
$ dpckan resource create --resource-name crib_2023
Usage: dpckan resource [OPTIONS] RESOURCE_NAME COMMAND [ARGS]...

  Funções responsáveis pela criação e atualização de recursos em conjuntos
  de dados publicados em uma instância CKAN.

Options:
  -h, --help  Show this message and exit.

Commands:
  create             Create dataset resource in a CKAN instance.
  diff-resource-cli  Detect changes between datapackage resource an a...
  update             Update dataset resource in a CKAN instance.

[Andrelamor]

https://github.com/transparencia-mg/dataset-template/issues/19

[Andrelamor]

tentando simular os erros para ver o comportamento das funções do dpckan aqui;

o dpckan dataset update não lê a inclusão de novos arquivos na pasta /data e não consigo usar nenhuma das funções resource:

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/transparencia-mg/datapackage-reprex (fhemig)
$ dpckan --datastore --ckan-host $HOMOLOGA_HOST --ckan-key $HOMOLOGA_KEY resource create --resource-name crib_2023
Usage: dpckan resource [OPTIONS] RESOURCE_NAME COMMAND [ARGS]...

  Funções responsáveis pela criação e atualização de recursos em conjuntos de
  dados publicados em uma instância CKAN.

Options:
  -h, --help  Show this message and exit.

Commands:
  create             Create dataset resource in a CKAN instance.
  diff-resource-cli  Detect changes between datapackage resource an a...
  update             Update dataset resource in a CKAN instance.

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/transparencia-mg/datapackage-reprex (fhemig)
$ dpckan --ckan-host $HOMOLOGA_HOST --ckan-key $HOMOLOGA_KEY resource create --resource-name crib_2023
Usage: dpckan resource [OPTIONS] RESOURCE_NAME COMMAND [ARGS]...

  Funções responsáveis pela criação e atualização de recursos em conjuntos de
  dados publicados em uma instância CKAN.

Options:
  -h, --help  Show this message and exit.

Commands:
  create             Create dataset resource in a CKAN instance.
  diff-resource-cli  Detect changes between datapackage resource an a...
  update             Update dataset resource in a CKAN instance.

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/transparencia-mg/datapackage-reprex (fhemig)
$ dpckan --ckan-host $HOMOLOGA_HOST --ckan-key $HOMOLOGA_KEY resource --resource-name crib_2023 create
Usage: dpckan resource [OPTIONS] RESOURCE_NAME COMMAND [ARGS]...
Try 'dpckan resource -h' for help.

Error: No such option: --resource-name

[Andrelamor]

o update não atualizou o datapackage.json no conjunto de testes - log da última atualização, na verdade, a criação de resources-ids derivada da criação do conjunto:

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/transparencia-mg/datapackage-reprex (fhemig)
$ git status
On branch fhemig
Changes to be committed:
  (use "git restore --staged <file>..." to unstage)
        new file:   .github/workflows/frictionless.yaml
        modified:   .gitignore
        new file:   data/crib_2018.csv
        new file:   data/crib_2019.csv
        new file:   data/crib_2020.csv
        new file:   data/crib_2021.csv
        new file:   data/crib_2022.csv
        new file:   datapackage.json
        new file:   requirements.txt
        new file:   schemas/dialect_v1.json
        new file:   schemas/schema_v1.json

Untracked files:
  (use "git add <file>..." to include in what will be committed)
        data/crib_2023.csv

(venv)
Andre@DESKTOP-R63LP8N MINGW64 ~/Documents/teletrabalho/transparencia-mg/datapackage-reprex (fhemig)
$ dpckan --datastore --ckan-host $HOMOLOGA_HOST --ckan-key $HOMOLOGA_KEY dataset update
Updating dataset https://homologa.cge.mg.gov.br/dataset/simula-dpckan
Nothing to be updated in dataset https://homologa.cge.mg.gov.br/dataset/simula-d
pckan.
Dataset https://homologa.cge.mg.gov.br/dataset/simula-dpckan updated

[Andrelamor]

https://github.com/transparencia-mg/datapackage-reprex/actions