search

transparencia-mg / age7

https://transparencia-mg.github.io/age7/
1 stars 2 forks source link

configurar serviços de git large files em servidor da DTI #4

Open Andrelamor opened 2 years ago

Andrelamor commented 2 years ago

Contexto/problema

Para uploads diários automatizados no Portal de Dados Abertos, a DTA utiliza: o git para controle de versão; e o github para compartilhamento de bases, metadados e códigos. A diretoria tem compromissos assumidos de aumento do número de bases de dados para serem abertas e publicadas no Portal de Dados Abertos. Isso exige uma estrutura preparada para suportar o armazenamento de maiores quantidades e volumes de bases, sem perder o controle sobre as mudanças de versão das mesmas. O serviço de git large files supre essas necessidades, mas a plataforma CKAN (na qual está hospedada o Portal) não oferece essas mesmas funcionalidades de controle de versão sobre os arquivos de dados (somente sobre os metadados).

Solução

O github oferece o serviço de git large files gratuitamente, mas a um limite muito baixo de armazenamento. Alternativamente, por se tratar de ferramenta de código aberto, é possível configurar esse serviço em servidor próprio para utilização sincronizada com qualquer repositório do github, conforme links de referência encontrados:

Portanto, solicitamos instalar e configurar o serviço de git large files (git lfs) em servidor dedicado.

Benefícios esperados

Permitir a utilização sem dependência de produtos pagos. Realizar o controle de versão de dados via git, o que não ocorre no CKAN, pois este versiona somente os metadados. Sem o controle de versão dos arquivos de dados, é muito custoso realizar identificação e tratamento de erros no processo de upload diário das bases de dados no CKAN/Portal de Dados Abertos.

Andrelamor commented 2 years ago

chamado aberto no sistema de atendimento da DT, sob o nº 2022000587

gabrielbdornas commented 1 year ago

@Vilelafm e @Andrelamor, encaminhei mensagem para Diogo em 13/02/2023 para reiniciar esta conversa. Acredito que poderíamos propor para a DTI a montagem de uma máquina nos moldes da http://projetockan.cge.mg.gov.br/, aonde nós configuraríamos todo o ambiente e a integração com o PdA.

Vilelafm commented 1 year ago

@Andrelamor e @gabrielbdornas Por gentileza em nossa reunião gerencial gostaria de tratar sobre esse assunto e compreender como está o andamento dessa solicitação. O chamado ainda está aberto? Poderíamos complementar a demanda por meio dele? Dentre outros...

gabrielbdornas commented 1 year ago

Acredito que este issue, por se tratar de um assunto geral, não deveria ficar neste repositório.