migrar repositórios-template para novo modelo

[Andrelamor]

repositórios/datasets

• [x] SEJUSP - Crimes violentos - https://github.com/transparencia-mg/crimes-violentos

• [x] PCIVIL - Violência contra mulher - https://github.com/transparencia-mg/violencia-contra-mulher

• [x] SEPLAG - Termos Parceria - https://github.com/transparencia-mg/termos-parceria-contratos-gestao

• [x] SEPLAG - Acordo Brumadinho - https://github.com/transparencia-mg/acordo-judicial-reparacao-vale-projetos

• [x] SEPLAG (SEGOV?) - Doações - https://github.com/dados-mg/doacoes-comodatos

questão sobre a ordem dos eventos/tarefas para proceder à migração

@gabrielbdornas usar o fork ou preservar o https://github.com/transparencia-mg/crimes-violentos?

• o método mais seguro seria começar o zero, usando o fork do https://github.com/transparencia-mg/new-dataset-template e reconfigurar os parâmetros de usuários e URLs nos secrets; isso traria perda do histórico dos dados do repo original (e também a questão do nome, que já é utilizado);
• fazer 'atualização' do repo atual https://github.com/transparencia-mg/crimes-violentos seria mais trabalhoso, arriscado, e poderia perder a manutenção via fork do new-dataset-template, se os novos scripts/actions forem adicionados um a um, manualmente;

[Andrelamor]

@gabrielbdornas vou fazer um teste como se fosse criar o repo do zero na org dados, depois pensamos como conciliar as alteranativas descritas acima, que terão de ser decididas para para mais 4 repos/datasets preexistentes (3 da $EPLAG e 1 da PCIVIL);

na verdade, se partir do zero, como se o repo não existisse, será necessário:

• copiar datapackages, schemas e dialect preexistentes;
• copiar arquivos de dados que já estejam publicados;
• copiar CHANGELOG;
• copiar README

[Andrelamor]

@gabrielbdornas veja a mensagem do erro em https://github.com/dados-mg/crimes-violentos/actions/runs/5789606447/job/15690994270:

perceba que a pasta de /schemas, que contém o dialect, não é uma subpasta de /dataset, mas está como pasta independente na raiz do repositório

[Andrelamor]

3s Run dpckan --datastore --datapackage dataset/datapackage.json --ckan-host "$CKAN_HOST" --ckan-key "$CKAN_KEY" dataset update dpckan --datastore --datapackage dataset/datapackage.json --ckan-host "$CKAN_HOST" --ckan-key "$CKAN_KEY" dataset update shell: /usr/bin/bash -e {0} env: CKAN_HOST: CKAN_KEY: Updating dataset /dataset/crimes-violentos Updating data and metadata of resource crimes_violentos_2012. Updating resource crimes_violentos_2012 datastore. Error during /dataset/crimes-violentos updating

https://github.com/transparencia-mg/crimes-violentos/actions/runs/5812883554/job/15759236710

[Andrelamor]

a conclusão sobre a ordem dos eventos/tarefas necessárias para proceder à migração:

1. mudar nome repo original
2. realizar o fork do template, configurar os actions, secrets, pages e renomear o repo
3. clonar o repo-template configurado e renomeado
4. copiar e colar README, CHANGELOG e CONTRIBUTING do repo original
5. copiar e colar o datapackage.yaml do repo original

[Andrelamor]

https://github.com/transparencia-mg/dpckan/issues/207 para verificar o ajuste dos labels (names) das colunas, que estão sendo modificados no novo script de conversão de excel para csv, e eventualmente diferem de colunas com labels em maiúsculas que constavam no datastore dos conjuntos anteriormente publicados

[Andrelamor]

transparencia-mg/dpckan#207 para verificar o ajuste dos labels (names) das colunas, que estão sendo modificados no novo script de conversão de excel para csv, e eventualmente diferem de colunas com labels em maiúsculas que constavam no datastore dos conjuntos anteriormente publicados

https://github.com/transparencia-mg/new-dataset-template/pull/36