transparencia-mg / age7

https://transparencia-mg.github.io/age7/
1 stars 2 forks source link

Implementar `make archive` (dados e logs) como estratégia de backup #14

Open fjuniorr opened 2 years ago

fjuniorr commented 2 years ago

Para deixarmos de utilizar o GIT LFS porém mantermos uma estratégia de backup dos dados e logs gerados durante a execução das cargas diárias, vamos implementar um make archive para copiar os arquivos para uma pasta archive que armazena o histórico dos mesmos ( e que está acessível via cliente FTP no servidor).

A estrutura de backup será:

    archive/
        YYYY-MM-DD/datapackage.json.gz
                  logs/
        data/<resource_name>/<checksum>.csv.gz

Os seguintes arquivos/pastas não serão copiados:

gabrielbdornas commented 1 year ago

Podemos pensar nesta estrutura integrada com a proposta de versionar os relatórios de validação presentes aqui.

Neste sentido toda versão gerada traria os arquivos de log gerados.