turicas / covid19-br

Dados diários mais recentes do coronavírus por município brasileiro
https://brasil.io/dataset/covid19
GNU Lesser General Public License v3.0
531 stars 128 forks source link

Estudar dados consolidados do Ministério da Saúde #140

Open turicas opened 4 years ago

turicas commented 4 years ago

O Ministério da Saúde está disponibilizando dados por município (clicar no link "Arquivo CSV"). Antes de alterarmos nossa rotina de captura de dados (para decidir se adotamos ou não esses), precisamos fazer algumas verificações para entender as diferenças com relação aos dados que já estamos coletando das SES, como:

Algumas pessoas já me relataram que os dados estão levemente atrasados e que há mudança no formato (com perda de dados), como é possível ver nesse tweet (print aqui).

Para automatizar a captura desse arquivo (que, na verdade, é um XLS), temos que pegá-la no resultado da requisição para https://xx9p7hp1p7.execute-api.us-east-1.amazonaws.com/prod/PortalGeral (se essa URL for dinâmica, temos que acessar o painel principal para pegá-la) na chave response["results"][0]["arquivo"]["url"] (response é o JSON de resposta decodificado). Segue um exemplo do arquivo para hoje: HIST_PAINEL_COVIDBR_19mai2020.xlsx.zip

Essa issue poderia também ser resolvida de maneira automatizada, consolidando os microdados (quando tivermos eles) e, por isso, está relacionada às seguintes issues:

IMPORTANTE: quando possível, publique trechos de código que foram desenvolvidos para fazer as análises/comparações.

jluizg commented 4 years ago

@4llan testei importar o CSV. O problema é a limitação nº do Google Planilhas: quantidade de linhas. Vou insistir numa solução por mais um tempo. Independentemente disso, vou dar uma olhada no Data Studio.

jluizg commented 4 years ago

MS mudou novamente a disponibilização dos dados via API, dessa vez zipando o arquivo no formato csv

Voltou para .CSV, sem zipar!