montera34 / escovid19data

Recopilación de datos de COVID19 por provincias en España
Other
81 stars 23 forks source link

En busca de los fallecidos perdidos #24

Closed pirio72 closed 3 years ago

pirio72 commented 3 years ago

(En elaboración, 29 de noviembre, 20:20)

Si hay llegado hasta aquí, podrás encontrar algunas ídeas sobre:

  1. Los fallecidos son material sensible
  2. ¿Qué fallecidos se están contando: a nivel nacional (I)?
  3. ¿Qué fallecidos se estan contando a nivel autonómico y provincial: escovid19data?
  4. ¿Son fiables los datos de fallecidos en escovid19data?
  5. ¿Por qué hay discrepancias en algunas CCAA (Cataluña, Madrid, País Vasco, Castilla y León)?
  6. (En el futuro): las extrapolaciones con otras fuentes nacionales de fallecidos

Los fallecidos son material sensible

El número de fallecidos por Covid en España es, sin duda, el dato más sensible de la pandemia en el país. Y, como todos los datos, ha sido empleado para múltiples usos: unos mejores, y otros, mejorables.

Sin ir más lejos, en la primera ola, existieron serias dudas sobre cómo se estaban contando los fallecidos en España. En España, el criterio "oficial" era, y es, contar solo los casos expresamente identificados (mediante una prueba, ya sea un PCR o un test de antígenos).

Por su parte, la OMS estableció unos criterios para contar el número de casos por Covid-19, incluyendo además los casos "sospechosos"

Pero, no solo en España, sino en muchos otros países, la [forma de contar los fallecidos(https://maldita.es/maldita-te-explica/2020/04/17/datos-muertos-coronavirus-recuento/)] es diferente.

¿Qué fallecidos se están contando: a nivel nacional (I)?

A continuación, se muestran las distintas fuentes, indicando con un número entre corchetes (por ejemplo, [1]) la primera referencia a cada una de ellas.

Fuentes nacionales (I)

En España, existen varias fuentes sobre (no solo) el número de fallecidos. A nivel nacional, la más conocida es el ya clásico informe diario (de lunes a viernes) del Ministerio de Sanidad (Sanidad [1]), y en concreto, del CCAES. Se ofrece en formato PDF (por ejemplo, el informe del 29 de noviembre de 2020).

Ese informe se elabora así, según el propio Ministerio:

El presente informe se ha realizado con los datos individualizados notificados por las CCAA a la Red Nacional de Vigilancia Epidemiológica (al sistema SiViEs). Se incluyen los casos [...] que [...] fallecieron con diagnóstico clínico de COVID-19, de acuerdo a las definiciones de caso vigentes en cada momento. Cualquier futura actualización que realicen las CCAA quedarán reflejadas en los informes diarios.

Eso significa:

Por otra parte, solo en los últimos días (desde el [confirmar], Sanidad ha añadido un enlace, al final de la explicación del PDF, a un fichero CSV [2] que contiene los datos actualizados, para cada día, del número de fallecidos en cada día por CCAA.

Es decir, el PDF original ofrece una foto que puede variar.

Fuentes autonómicas

La información de Sanidad proviene de las CCAA, pero solo ofrece datos a este nivel de agregación. Es decir, que compara la realidad de toda una CCAA (ya sea Andalucía o La Rioja), pero no desagrega por provincias.

Esa información es ofrecida en cada CCAA, de forma distinta y diversa. De ahí surgió escovid19data, que recoge los datos directamente de cada CCAA, a diario y por provincia, incluyendo el número de fallecidos (entre otros datos).

A partir de esos datos, @numeroteca, además de coordinar , actualiza diariamente un sitio web con numerosos recursos basados en estos datos, Por ejemplo:

  1. Mediante tablas por CCAA de:
  1. Mediante tablas por provincias de:
  1. Mediante gráficos interactivos de fallecidos por CCAA y provincia, tanto de forma lineal como logarítmica.

  2. Mediante gráficos estáticos de fallecidos por día (en los últimos 50 días), como en el ejemplo de Castilla y León

  3. Mediante rejillas de comparación de fallecimientos de comunidades y provincias, ya sean:

  4. Mediante [mapas históricos animados con el número de fallecidos por millón de habitantes, por provincia](https://lab.montera34.com/covid19/provincias.html#map)

  5. O mediante las trayectorias o relaciones entre:

La pregunta del millón: ¿son fiables los datos sobre fallecidos de escovid19data?

Escovid19data toma los datos que publican cada día, las CCAA en sus diversas fuentes (*). Las preguntas que están en el aire son:

  1. ¿Esos datos pueden variar en el futuro? Es decir, ¿es posible que las CCAA reporten posteriormente un número mayor de datos de los que indican a un día concreto?

  2. ¿Cómo se comparan esos datos con los que ofrece Sanidad?

Esta pregunta es complicada de responder: muchas de las CCAA no ofrecen un histórico de sus fallecidos, sino solo los datos diarios.

Variación de los datos de fallecidos en las CCAA.

Había una pregunta pendiente en el aire: ¿es posible que las CCAA reporten posteriormente un número mayor de datos de los que indican a un día concreto?

Esta pregunta es complicada de responder: muchas de las CCAA no ofrecen un histórico de sus fallecidos, sino solo los datos diarios.

(Pendiente: revisar qué CCAA sí incluye ese histórico, y cuáles no)

Comparación de los datos de escovid19data con los de Sanidad

Hasta el 18 de noviembre, Sanidad solo ofrecía los datos de fallecidos en sus PDF, que podrían sufrir modificaciones.

Pero, desde el 19 de noviembre de 2020, Sanidad incluye en sus PDF un enlace a un fichero CSV histórico que se actualiza continuamente.

Eso suponía resolver varias preguntas:

  1. ¿Ese CSV está realmente actualizado respecto al PDF?

  2. Si lo está, ¿cómo son los datos de escovid19data? ¿Más actualizados? ¿Igual? ¿Menos?

¿Qué datos de Sanidad están más actualizados?

Analizando los datos hasta el 26 de noviembre de 2020, según @mharias y @numeroteca , los datos del fichero histórico del CSV están más actualizados.

Ello puede comprobarse porque la diferencia, en el acumulado de casos, que es muy similar en muchas comunidades, es positiva en la mayoría de las que han tenido diferencias, es decir, se han añadido casos en el CSV de algunas comunidades.

Sanidad_fallecidos-CSV_vs_PDF-2020-11-28_20-03-05

Fuente: @mharias

escovid19data y el fichero histórico CSV de Sanidad: vidas casi paralelas

A continuación, hemos comparado los datos de fallecidos acumulados de escovid19data con los datos de fallecidos acumulados del CSV histórico de Sanidad.

Hemos hecho la comparación porque, como se ha descrito, los datos del CSV son, a medio plazo, más fiables. Y éste es el resultado:

escovid19data-vs-csv-sanidad-fallecidos-26-11-2020

Fuente: @mharias

Puede comprobarse que los datos coinciden en buena parte de las CCAA: es decir, que los datos que ofrecen diariamente cada una de ellas coinciden, a medio plazo, con los que ofrece Sanidad.

En otras palabras: en buena parte de las CCAA, los datos de escovid19data son más "reales" (acaban coincidiendo con los del CSV de Sanidad) que los datos que ofrece, a corto plazo, el Ministerio de Sanidad (en su PDF). Una hipótesis es que las CCAA sí reporten el número total de casos, pero no reporten todos los datos de cada uno y, por lo tanto, Sanidad no los dé por buenos hasta que no hayan sido completados.

No obstante, esto no ocurre en todas las CCAA: algunas de ellas sí presentan discrepancias entre los datos de escovid19data y los datos de Sanidad. Se describen a continuación cuáles son y algunas posibles causas.

Algunas discrepancias entre escovid19data y Sanidad: ¿por qué?

Existen dos tipos de discrepancias: mayores (los datos tienen grandes variaciones) y menores (que pueden deberse a algunos ajustes). Han de tenerse en cuenta las escalas de los gráficos.

La gran diferencia: Cataluña

Cataluña es la gran excepción: el número de fallecidos que reporta esta comunidad (y que recoge escovid19data) es el doble de los datos que se reflejan en Sanidad. Así puede observarse en la gráfica:

fallecidos-catalunya-26-11-2020

Fuente: @mharias

Ello tiene una razón: Cataluña llama a los fallecidos "defunción", y las entiende como:

las defunciones relacionadas con la COVID-19: que el motivo en el certificado de defunción especifique que la persona ha muerto a causa de la COVID-19 tenga o no una PCR/TA+.

Es decir, que incluye a personas que no han sido diagnosticadas expresamente con Covid-19, pero que, en su acta de defunción, han sido catalogadas como tal.

defunciones-covid-cat Fuente: Dades Covid, Generalitat de Catalunya

Para ello, toma en cuenta el criterio de la OMS.

No obstante, si se observa el gráfico de Cataluña, las dos gráficas (en azul, escovid19data, es decir, datos de Salut (la consejería encargada del tema en Cataluña); y en rosa, Sanidad) son prácticamente paralelas. El salto se produce entre finales de abril y finales de mayo, cuando se duplican los datos de Salut, para luego seguir una evolución muy similar.

Más sorprendente es que, contando los fallecimientos según el propio criterio de Sanidad, es decir, comparando los datos publicados en el PDF (actualización diaria) con los datos obtenidos en el CSV (que refleja el histórico), ha habido una discrepancia continua de casos entre ambos hasta muy recientemente: entre 1000 y 1500 casos no completamente actualizados hasta fechas muy recientes.

catalunya-sanidad-26-11-2020

La incógnita: Madrid

Por su parte, Madrid opta en sus propios datos por ofrece distintas cifras sobre fallecimientos, como se observa aquí:

madrid-fallecidos-29-11-2020 Fuente: Salud Madrid, 29/11/2020

Por un lado, ofrece los datos de fallecidos en hospitales ("Fallecidos Hospitales, a la izquierda"), se supone, con confirmación de diagnóstico con Covid-19, es decir, como pide Sanidad.

Pero a continuación, ofrece los datos de fallecidos marcados así en su certificado de defunción. Se observa que el número de fallecidos de este tipo aumentaría en torno a un 50% el número de fallecidos.

El dato de Sanidad es más próximos al de "Fallecidos Hospitales", como se observa en el gráfico. No obstante, ha de observarse la escala: la diferencia actual está en torno a los 200 fallecidos, que todavía no han sido incorporados a SiViEs. No queda claro si los fallecidos en otras ubicaciones han sido o no incorporados a SiViEs, por ejemplo, porque no tengan una confirmación de Covid.

_## Castilla y León: una discrepancia paralela

En el caso de Castilla y León, hay una trayectoria inversa a la de Cataluña, y única en toda España:

Pendiente: averiguar qué ocurrió a finales de abril. ¿Quién llevaba esa CCAA?_

El caso del País Vasco

El País Vasco esconde un caso particular: a nivel de CCAA, sus propios datos sobre fallecimientos coinciden más o menos, tarde o temprano, con los que ofrece Sanidad.

Sin embargo, el desglose de datos por provincias (que sí se ofrece en todas las demás comunidades) no se publica (se explica en detalle en este post). Se publica:

Las extrapolaciones con otras fuentes nacionales de fallecidos

Queda pendiente (para un análisis futuro) una revisión de estos datos con dos extrapolaciones a nivel autonómico... hechas por fuentes nacionales:

Y ver qué podemos comparar de los datos que tenemos (por CCAA y por provincias) respecto a los fallecimientos que hay...

arivero commented 3 years ago

"Hasta el 18 de noviembre, Sanidad solo ofrecía los datos de fallecidos en sus PDF, que podrían sufrir modificaciones.

Pero, desde el 19 de noviembre de 2020, Sanidad incluye en sus PDF un enlace a un fichero CSV histórico que se actualiza continuamente"

Esto no es correcto. Hasta el 18 de noviembre, inmediatamente debajo de la grafica aparecia el enlace al fallecidos_covid.xsls, lo que ocurre a partir del 19 es que crea un fichero unificado

pirio72 commented 3 years ago

Pues tienes toda la razón: se daba un fichero solo con los fallecidos (no había caído en eso), por fecha de defunción. Lo cambiamos en el texto. Gracias por la precisión.

Eso ¿supone que el CSV que está actualizado también da los fallecidos por fecha de defunción?

El lun, 30 nov 2020 a las 18:49, Alejandro Rivero (notifications@github.com) escribió:

"Hasta el 18 de noviembre, Sanidad solo ofrecía los datos de fallecidos en sus PDF, que podrían sufrir modificaciones.

Pero, desde el 19 de noviembre de 2020, Sanidad incluye en sus PDF un enlace a un fichero CSV histórico que se actualiza continuamente"

Esto no es correcto. Hasta el 18 de noviembre, inmediatamente debajo de la grafica aparecia el enlace al fallecidos_covid.xsls, lo que ocurre a partir del 19 es que crea un fichero unificado

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/montera34/escovid19data/issues/24#issuecomment-735940068, or unsubscribe https://github.com/notifications/unsubscribe-auth/APRNLBCIBRWKNOQKUYUMVEDSSPLJLANCNFSM4UGWWN6Q .

-- DAVID RODRIGUEZ MATEOS Universidad Carlos III de Madrid

arivero commented 3 years ago

Pues yo siempre he asumido que los nuevos son tambien por fecha de defuncion, a fin de cuentas esa es la excusa que ponen para ir con varios dias de retraso.