Open capyvara opened 4 years ago
Marcelo, muito obrigado por todo o seu trabalho. Eu tiraria o local no caso de cidades "detailed". Acho que idade e sexo são mais importantes no caso para estudar o fenômeno. E locais geral já teríamos no cidades normal. O que você acha? Chegaríamos próximos de 100k. Vou ver se penso mais sobre.
Atualmente os scraps detalhados estão demorando demais, o cities_detailed tem ~151840 queries (52 cidades 365 dias 4 locais * 2 sexos), e demora múltiplos dias para concluir, teria que ficar abaixo de ~100k queries (que já seriam várias horas).
É necessário re-tentativas porque o servidor entra numa atualização/manutenção nesse meio tempo.
Opções:
Seria possível também fracionar, por exemplo deixando um mensal e um por semana epidemiológica.