#134 - Validação do conjunto de dados: Desenvolvimento

[Andrelamor]

Achados gerais (vide teste 2023-03-02)

1. A validação não está capturando o vínculo entre primary key/foreign key entre tabelas/recursos, embora estejam sendo registradas no datapackage.json

@gileno @andreiadonca

[gabrielbdornas]

@Andrelamor, @Vilelafm, @gileno, @andreiadonca, @The-Noog, conforme amplamente discutido hoje, 17/02/2023 a funcionalidade validação (conjunto de dados e recursos) da versão 0.0.38 da extensão ckanext-datapackage-creator não está funcionando. Em linhas gerais, todas as validações feitas pela extensão dão resultado positivo, mesmo simulando algum erro que deveria ser pego.

Para demonstrar o erro, criei este teste reproduzível. Em linhas gerais, tanto para conjuntos públicos quanto para privados o teste reproduzível acusou os erros, mostrando que a biblioteca frictionless está se comportando como esperado e que portanto algo há de errado na lógica de nossa extensão.

Um ponto importante que não faz parte desta estória, mas que vale a pena ressaltar como achados gerais é o erro da extensão em não salvar os metadados de recursos atualizados após a publicação inicial. Este ponto está documentado no primeiro teste reporduzível.

[gileno]

@gabrielbdornas @Andrelamor @andreiadonca @Vilelafm @The-Noog encontrei um problema na geração do json e causava problemas para gerarmos a validação "inválida". O plugin armazena os metadados da inferência inicial além dos metadados finais (alterados ou não), entretanto a geração do datapackage json está em cima dos dados da inferência, assim sempre estavam válidos, além disso foi alterado o código para usar a classe "Package" e foi possível gerar como indicado nas imagens (no item em questão uma coluna texto foi indicada como inteira)

Irei gerar a versão 0.0.39 e notifcá-los

Mensagem de erro:

[Andrelamor]

• discussão e testes continuando em https://github.com/transparencia-mg/work-stefanini/issues/140