repositório template para carga promoção e progressão

[Andrelamor]

Esta é uma alternativa para auxiliar na carga em escala das planilhas de promoção e progressão. O template tem actions que:

1. convertem o arquivo excel para csv,
2. documenta os campos em datapackages em formatos estruturados (yaml e json),
3. valida se os dados do csv estão de acordo com o datapackage.json e
4. publica relatório de validação

Para nosso caso de uso, retirei as partes que publicariam no CKAN e estou adotando as premissas de que:

• o repositório será restrito; e
• vários taxadores adicionarão arquivos

Então os passos necessários serão:

• [ ] gerar relatório de validação sem abrir repositório (mantê-lo em private)
• [x] adicionar arquivos sem sobrescrever os antigos que já estavam adicionados ao repositório
• [x] limpar a pasta data toda vez que a carga for realizada no SISAP via Mantis.

Esse último passo envolve uma integração completa desse ETL, pois o final do processo estará fora do Github, podendo ser resumido assim:

graph TD;
    1(Início)-->2;
    2[Adição e validação de dados - GITHUB]-->3;
    3[Envio de planilha para Mantis - Power Automate]-->4;
    4[Processamento da carga no SISAP - PRODEMGE]-->5;
    5[ Mantis concluído - notificação e-mail PRODEMGE para SCAP]-->6;
    6[`make clean` no repositório template - GITHUB]-->2

[Andrelamor]

por enquanto, os testes estarão em https://github.com/Andrelamor/template-SCAP

[Andrelamor]

• [ ] adicionar arquivos sem sobrescrever os antigos que já estavam adicionados ao repositório

@gabrielbdornas um passo para o tópico acima dado com auxílio do Jêminin: https://github.com/Andrelamor/template-SCAP/commit/966254a4ca0af5d9131e5a9896cb0406f8bb43c3

[Andrelamor]

1. Estou conseguindo gerar o relatório de validação em livemark localmente, mas no repo origin aparece a msg de erro:

   Run task report
   task report
   shell: /usr/bin/bash -e {0}
   type object 'HtmlExtension' has no attribute 'parser_mixins'
   Error: Process completed with exit code 1.

2. Mesmo passando o repositório para público, o memso erro acontece. Localmente, o relatório é gerado corretamente na simulação de um erro (após realizar manualmente na linha de comando as operações task report e livemark start):

3. após atualizar o pacote livemark, o actions passou a gerar o index.html, mas a página não parseou corretamente o relatório html:

4. incluí o comando livemark start no convert_report.yml, mas ele tenta achar o localhost e fica rodando indefinidamente:

[Andrelamor]

E o relatório via dashboard Frictionless, como era usado na versão anterior do dataset template, não gera o relatório

[Andrelamor]

Então os passos necessários serão:

• [ ] gerar relatório de validação sem abrir repositório (mantê-lo em private)

Aparentemente, os relatórios de validação em sites gerados automaticamente pelo github pages realmente necessitam do repositório aberto, para contas free, como atesta a resposta a este caso, além da parte do próprio manual que explica que seria necessário uma conta Github Enterprise Cloud.

Diante disso, a alternativa seria tentar voltar com os relatórios a partir do dashboard com o relatório de validação a partir do domínio da Frictionless, como a figura do box anteiror (mas que não estava funcionando ano passado na CGE)

[YanVieira1905]

@Andrelamor, caso não avance, será que uma solução "gambiarra" do tipo power query não resolveria? Faríamos um template no excel com algumas validações e tratamos no power query.

[Andrelamor]

@Andrelamor, caso não avance, será que uma solução "gambiarra" do tipo power query não resolveria? Faríamos um template no excel com algumas validações e tratamos no power query.

@YanVieira1905 no resumo da última reunião o Erik aceitou bem o repositório aberto no github, mas o leiaute estava muito diferente do que a SEE faz atualmente e com colunas desnecessárias, que o próprio Erik retirou. Além disso, duas questões importantes foram a baixa frequência de cargas (4 por ano) e o baixo número de erros (na última carga foram 2 para quase 4mil registros)