radar-parlamentar / radar

Estamos de mudança para o GitLab: https://gitlab.com/radar-parlamentar/radar.
http://radarparlamentar.polignu.org
84 stars 44 forks source link

Reduzir tamanho do repositório #270

Open diraol opened 9 years ago

diraol commented 9 years ago

Pessoal, fui clonar o projeto agora e demorou muito para finalizar a clonagem.

Isso se dá pelo fato de termos muitos arquivos grandes no repositório.

Eu pessoalmente acho que esses arquivos não deveriam estar nos repositórios (da mesma forma como decidimos lá atrás não versionar o dump da base). O que podemos fazer, eventualmente, é criar um repositório só para dados e utilizar submódulos do git para isso.

Assim, esta pasta eu acho que deveriam ser retiradas deste repositório: https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/importadores/dados https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/files/codes/js/matrix.json (Este arquivo deverá ser gerado automaticamente depois que o pessoal da UNB resolver as issues de automatização dos gráficos de gênero), assim como os outros arquivos JSON da pasta (https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/static/files/codes/js).

Outra coisa a se fazer é reduzir o tamanho do arquivo "radar_tema.pdf" (que está com 24Mb!!!!): https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/assets/radar_tema.pdf

Mas, além de resolver a localização/tamanho desses arquivos todos, acho que seria fundamental "remover" o histórico desses arquivos do git, senão não resolve nada.... http://stevelorek.com/how-to-shrink-a-git-repository.html

O que acham? Todos de acordo?

diraol commented 9 years ago

Só pra documentar:

saulotrento commented 9 years ago

Por mim blz!

Em 20 de abril de 2015 20:57, Diego Rabatone Oliveira < notifications@github.com> escreveu:

Pessoal, fui clonar o projeto agora e demorou muito para finalizar a clonagem.

Isso se dá pelo fato de termos muitos arquivos grandes no repositório.

Eu pessoalmente acho que esses arquivos não deveriam estar nos repositórios (da mesma forma como decidimos lá atrás não versionar o dump da base). O que podemos fazer, eventualmente, é criar um repositório só para dados e utilizar submódulos do git para isso.

Assim, esta pasta eu acho que deveriam ser retiradas deste repositório:

https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/importadores/dados

https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/files/codes/js/matrix.json (Este arquivo deverá ser gerado automaticamente depois que o pessoal da UNB resolver as issues de automatização dos gráficos de gênero), assim como os outros arquivos JSON da pasta ( https://github.com/radar-parlamentar/radar/tree/master/radar_parlamentar/static/files/codes/js ).

Outra coisa a se fazer é reduzir o tamanho do arquivo "radar_tema.pdf" (que está com 24Mb!!!!):

https://github.com/radar-parlamentar/radar/blob/master/radar_parlamentar/static/assets/radar_tema.pdf

Mas, além de resolver a localização/tamanho desses arquivos todos, acho que seria fundamental "remover" o histórico desses arquivos do git, senão não resolve nada.... http://stevelorek.com/how-to-shrink-a-git-repository.html

O que acham? Todos de acordo?

— Reply to this email directly or view it on GitHub https://github.com/radar-parlamentar/radar/issues/270.

diraol commented 9 years ago

Outro link que pode ajudar no processo de limpar o "histórico": https://confluence.atlassian.com/display/BITBUCKET/Maintaining+a+Git+Repository

leonardofl commented 9 years ago

OK, vou tentar reduzir o PDF lá da Tema. Depois que a gente conseguir tirar outros arquivos do repo, vamo ver essa parada de limpar o histórico.

Mas tirar o importacao/dados pode ser meio difícil, teria q pensar bem como fazer isso. Além disso vale uma análise mais refinada para ver quais dados de lá estão ocupando muito espaço.

Valeu Di!

diraol commented 9 years ago

Ah, sobre o "importacao/dados", podemos compactar os arquivos, isso deve ajudar muito (bz2 em geral consegue reduzir para 10% do tamanho original em arquivos txt, um xml talvez até mais).

​Sobre o "como fazer", é como eu disse, uma opção é jogar aqueles dados para outro repositório porque eles não precisa estar versionados necessariamente, muito menos com o código fonte do projeto. Ai poderíamos usar como "submódulos" (do git), ou mesmo fazer o download direto do "raw"/"binário" dos arquivos ao invés de clonar com git.

leonardofl commented 9 years ago

Reduzi o tamanho do PDF da Tema e da Apartes: 9ae571513e27a63a41b04b9415443dbb08bf244a

leonardofl commented 9 years ago

acho q gosto da opção "ou mesmo fazer o download direto do "raw"/"binário""... mas tb não tenho experiência com "submódulos".