AddressForAll / data-consolidation-BR

Consolidation of Brazilian data from the preserv-BR project.
0 stars 0 forks source link

Balanceamento de carga, precisa? e zip? #1

Open ppKrauss opened 9 months ago

ppKrauss commented 9 months ago

Os arquivos CSV, conforme previsto, estão grandes, da ordem de 10 Mb por cidade. A visualização tabular para humanos é limitada a menos de 5 Mb por arquivo. Assim como no CutGeo onbtamos por quebrar em blocos pequenos porém visualizáveis, talvez aqui seja interessante fazer o mesmo — ou quase o mesmo, ideal usando afacodes da grade científica.

Os arquivos CSV gerados possuem alta redundância, talvez seja interessante zipar. Por exemplo o arquivo de jundiaí no zip fica reduzido em 84%, 9.8M para 1.6M. Se o foco não for o controle de versões, podemos adotar o zip. O limite por arquivo parece ser 100Mb/arquivo no Github, de modo que zipado não seria problema.