gabrielbdornas
commented
3 days ago @labanca, @carloshob e @hslinhares, acredito que o intuito deste Issue seja exatamente o que foi discutido em nossa reunião de hoje, 10/10/2024, ou seja, um sistema para recebimento de arquivos onde o usuário responsável pelo envio seja notificado de todas as inconsistências existentes no mesmo (caso haja, é claro).
A proposta discutida tem como base a utilização do Portal de Dados Abertos do Estado de Minas Gerais, em conjunto com o plugin ckanext-datapackage-creator.
A instância CKAN projetockan apresenta o ambiente em que a versão mais atualizada do plugin encontra-se instalada.
Como contexto, o plugin ainda não foi instalado na instância em produção porque apresenta alguns pequenos erros que devemos corrigir. Os principais são:
- Apenas usuários com perfil
adminestão conseguindo cadastrar novos conjuntos. - Erro de instalação na instância em produção, supostamente por problemas de migração das bases de dados. Teremos que investigar, mas como a produção já possui um banco de dados alimentado (conjuntos publicados), a migração das novas tabelas criadas pelo plugin apresenta algum tipo de conflito com as tabelas já existentes.
Também teremos que realizar, no mínimo, as seguintes melhorias no código para que o mesmo atenda às nossas necessidades:
- Possibilitar aproveitar datapackages já existentes para criação de um conjunto de dados.
- Possibilitar buscar recursos já existentes no datapackage do conjunto para inclusão de novos arquivos de dados ou para sua atualização.
- Possibilitar validações para erros de regras de negócio (atualmente validação ocorre para metadados via
frictionless validate. - Melhorar visualização de erros (mensagem) para usuário.
- Integrar login ou com SSC, ou com gov.br (plus).
A aprovação do trabalho em conjunto com a CGE para melhoria e instalação do plugin na instância CKAN em produção dependerá da aprovação do Comitê de Governança de Tecnologia e Segurança da Informação - CGTSI/CGE. Vou encaminhar um e-mail com a demanda e incluo vocês em cópia.
Em resumo, o trabalho de melhoria do código do plugin, por estar este em formato de código aberto, conseguiríamos trabalhar sem maiores problemas.
A parte da instalação é que se apresenta como sensível do ponto de vista do Comitê, uma vez que precisaremos de acesso a ambientes criados pela própria CGE para testes e até mesmo auxílio para instalação na produção.
Como observação final, incluo a ótima frase citada por @labanca durante a reunião:
Ferramenta boa é a que o usuário usa.
Sendo assim, um dos trabalhos deste MVP que está sendo proposto é pensar na(s) equipe(s) que farão os primeiros testes de inclusão/atualização de arquivos de dados e validação da ideia. Após listar os possíveis candidatos, podemos fazer um encontro para mostrar a opção para os mesmos e pedir feedback.
O nome inicial do Issue era
Sistema de recebimento de arquivos OBZ, mas modifiquei o mesmo paraSistema de recebimento e validação de arquivos de dadosapós esta contextualização. Acredito que o processo OBZ será um dos que beberão na fonte do que está sendo proposto.Macro Atividades