SIVEP de 2021

[piklprado]

O OpendataSUS disponibilizou um arquivo da SIVEP separado para 2021, e manteve o de 2020. Então precisamos adaptar nosso workflow. O que já me ocorreu pra começar a montar a todo-list:

Arquivos brutos

• Teremos que modificar os robôs para verificar se há atualização no arquivo de 2020 e no de 2021.
• Teremos que decidir como guardar os arquivos brutos. Pensei em duas alternativas:
  • criar diretórios "2021' e '2020' em central_covid/dados/SIVEP-Gripe/, mantendo em cada um o padrão "SRAGHospitalizado_YYYY_MM_DD.zip", sendo "YYYY_MM_DD" data da atualização.
  • Manter tudo no mesmo diretório , mudando padrão de nome dos arquivos (p.ex. "SRAGHospitalizadoyy_YYYY_MM_DD.zip", em que yy sejam os dois últimos algarismos do ano dos casos)

Processamento

• Adaptar os códigos ( e eventualmente algumas funções como a get.last.data) para ler os dois arquivos.
• Uma vez lidos temos que avaliar se é melhor:
  • juntar os dois com todas as variáveis ou processa cada
  • juntar os dados só no final do processamento dos dados os arquivos resultantes, que têm só as colunas para nowcasting.

[renatocoutinho]

Estou tentando abordar mantendo a estrutura atual, ou seja, tudo num arquivo só, e pra isso pré-processo as bases, baixando as duas, apagando a primeira linha da de 2021 e concatenando. Pra isso espero as duas estarem no ar antes de baixar e juntar, e aí o fluxo segue igual.

Existe a possibilidade de sair uma e não a outra, e aí não baixa nada, e ainda existe a possibilidade de fazerem a extração errado, e as duas bases virem diferentes, e aí a concatenação dá bobagem, mas contra esse tipo de problema é muito difícil automatizar qualquer coisa...

[renatocoutinho]

Implementado no covid19br/central_covid@7d6402c8268064f30574c09ec4447e10e121806f