digital-guard / preserv

Digital Preservation Project
http://git.digital-guard.org/preserv
Apache License 2.0
0 stars 0 forks source link

Limites de tamanho nos gits preservCutGeo #111

Open ppKrauss opened 2 years ago

ppKrauss commented 2 years ago

GitLab é mais generoso, Github recomenda não passar dde 2Gb mas segundo essa discussão podemos usar até uns 70Gb. Nosso principal caso de uso é o preservCutGeo-BR2021, onde estamos consumindo ~6Gb de GeoJSON. Já passamos do primeiro limite mas estamos longe do segundo...

Essa issue portanto é só um primeiro esboço, para entender o cenário e documentar regras de quebra dos repositórios que crescerem demais.

fititnt commented 2 years ago

Caso hajam mudanças com passar do tempo, o GitHub normalmente apenas irá impedir repositórios novos (ou bloquear push) em vez de afetar antigos. O hard limit é 100GB. 6 GB ainda está bem abaixo.

Não obstante, um dos motivos para evitar repositórios grandes acaba sendo experiência de usuário, não o GitHub. Então, tecnicamente, com passar do tempo pode relevante "arquivar" repositórios antigos caso não seja possível apenas fazer um clone sem histórico (apenas do ultimo commit).

Essa abordagem de ter versões mais enxutas dos repositorios (mesmo que tenha outro completo) também permite ter espelhos em mais plataformas. Até tem como setar GitHub Actions para replicar pushes. Também posso recomentar isso porque eventualmente pode ser relevante permitir que outros projetos "clonem" uma copia daqui para chegar integridade de dados.