search

turicas / covid19-br

Dados diários mais recentes do coronavírus por município brasileiro
https://brasil.io/dataset/covid19
GNU Lesser General Public License v3.0
531 stars 128 forks source link

Corrigir script de captura de óbitos registrados em cartório #189

Closed turicas closed 4 years ago

turicas commented 4 years ago

Depois da alteração do site do Registro Civil em 12/07, o script de captura obitos_spider.py quebrou. Fiz uma atualização ontem corrigindo (05f965aea1fadb0b004973b4732de3563e0da96c), mas ele está baixando dados incompletos. Veja análise da diferença nos números.

Provavelmente teremos que fazer novas requisições, para também capturar os dados de óbitos por causas cardíacas. Se for isso, temos que fazer requisições baixar também para chart = chartCardiac4.

fabianofpena commented 4 years ago

Até o dia 12/07 estava atualizando corretamente. A coluna "new_deaths_covid19" da tabela obito_cartorio tinha 66080 óbitos computados.

jul12

Na última atualizacao, desapareceram diversos dados, constando apenas 41.353 óbitos.

atualizado

augusto-herrmann commented 4 years ago

Provavelmente está relacionado com esse erro, mas a verificação automática do goodtables também está falhando na checksum para o arquivo obito_cartorio.csv.gz após o download:

https://github.com/turicas/covid19-br/runs/892331858?check_suite_focus=true#step:3:910

turicas commented 4 years ago

Provavelmente está relacionado com esse erro, mas a verificação automática do goodtables também está falhando na checksum para o arquivo obito_cartorio.csv.gz após o download:

https://github.com/turicas/covid19-br/runs/892331858?check_suite_focus=true#step:3:910

Opa, não tinha reparado nisso, obrigado! Provavelmente foi quando eu tive que forçar o backup do arquivo (para que o novo, que tem dados incompletos, não entrasse). Já consegui corrigir o script e assim que ele terminar de rodar vou rodar o processo normal de deployment dos dados e esse problema do checksum deve ser corrigido.

turicas commented 4 years ago

Script corrigido e dados no ar!

augusto-herrmann commented 4 years ago

@turicas, agora está dando erro de validação.

Você mudou o esquema do csv obito_cartorio?

fabianofpena commented 4 years ago

@turicas, agora está dando erro de validação.

Você mudou o esquema do csv obito_cartorio?

Aqui tá funcionando. obitos_cartorio

augusto-herrmann commented 4 years ago

@fabianofpena estou falando sobre os testes automatizados do Github. Siga o link, continua dando erro.