search

swildermann / COVID-19

public accessible data for CoVid19
MIT License
20 stars 4 forks source link

Ein Zahlendreher im Datensazt von Hamburg 2020-08-17 #15

Closed EmTee70 closed 4 years ago

EmTee70 commented 4 years ago

2744,Germany,Hamburg,5878,264,2020-08-17,0,0 5878 => 5887 wäre richtig,

Wäre außerdem (für mich) super, wenn es auch eine tägliche Summe für Deutschalnd gäbe.

Danke für die Daten!

swildermann commented 4 years ago

Sieht für mich eher danach aus, dass die Daten zu dem Zeitpunkt noch nicht aktualisiert sind, da es gestern noch 5878 Fälle waren. Wir aktualisieren stündlich automatisiert. Ich prüfe gleich nochmal.

EmTee70 commented 4 years ago

Ja, wenn das automatisch kommt und für Tage wo noch nichts vorliegt, der Wert des Vortrags gesetzt wird, dann ist es ganau so. Sehe, dass es alle Bundesländer betrifft. Das hatte ich nicht geschaut, weil ich nur Hamburg einzeln herausgezogen habe.

EmTee70 commented 4 years ago

Nachfrage: Wann liegt der Datensatz typischer Weise vor? Die Daten für heute sind ja schon unter: https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Fallzahlen.html online.

TKlerx commented 4 years ago

Die Daten liegen jetzt schon in der Datenbank. Wir müssten mal schauen, ob wir den Power BI Refresh Zyklus noch etwas hochdrehen.

Wäre außerdem (für mich) super, wenn es auch eine tägliche Summe für Deutschalnd gäbe. Wo genau? Es gibt doch eine Summe für Deutschland, wenn man kein/alle Bundesländer auswählt. image

EmTee70 commented 4 years ago

Ich hole mir immer die Datei: mit wget https://covid19publicdata.blob.core.windows.net/rki/covid19-germany-federalstates.csv

swildermann commented 4 years ago

Die CSV Dateien werden alle 30 Minuten aktualisiert. Sobald die Daten also in der Datenbank vorliegen, kann es nochmal bis zu 30 Minuten dauern, so dass die csv-Datei dann ebenfalls auf dem selben Stand ist.

EmTee70 commented 4 years ago

Gut, und wann werden die Daten für Ihre Datenabank beim RKI normalerweise aktualisiert? Heute noch ja nicht.

EmTee70 commented 4 years ago

https://covid19publicdata.blob.core.windows.net/rki/covid19-germany-federalstates.csv

2739,Germany,Baden-Württemberg,38480,1859,2020-08-17,0,0
2740,Germany,Bavaria,52888,2631,2020-08-17,0,0
2737,Germany,Berlin,10238,224,2020-08-17,0,0
2752,Germany,Brandenburg,3697,169,2020-08-17,0,0
2742,Germany,Bremen,1841,56,2020-08-17,0,0
2744,Germany,Hamburg,5878,264,2020-08-17,0,0
2749,Germany,Hesse,13433,526,2020-08-17,0,0
2743,Germany,Lower Saxony,15384,656,2020-08-17,0,0
2745,Germany,Mecklenburg-Western Pomerania,972,20,2020-08-17,0,0
2748,Germany,North Rhine-Westphalia,54390,1777,2020-08-17,0,0
2750,Germany,Rhineland-Palatinate,8121,242,2020-08-17,0,0
2738,Germany,Saarland,3000,174,2020-08-17,0,0
2751,Germany,Saxony,5730,225,2020-08-17,0,0
2747,Germany,Saxony-Anhalt,2123,64,2020-08-17,0,0
2741,Germany,Schleswig-Holstein,3782,158,2020-08-17,0,0
2746,Germany,Thuringia,3496,186,2020-08-17,0,0

Die Daten für nicht aktualisierte Tage sollten lieber fehlen, als auf 0 gesetzt sein.

swildermann commented 4 years ago

Die Gesamtwerte sind nicht auf 0 gesetzt sondern haben den Vor-Tages-Wert solange bis der aktuelle Tageswert bekannt ist. Solange die Werte von heute bei der Datenquelle sich von gestern nicht unterscheiden, ist die Differenz 0 - diese weisen wir dann auch aus.

Warum gerade die aktuellen Werte fehlen, prüfe ich.

swildermann commented 4 years ago

Tatsächlich liegt das Problem an der Datenquelle. Dort scheint das Update von heute nicht erfolgreich gewesen zu sein. Da das RKI selbst keine einfach programatisch nutzbare Quelle zur Verfügung stellt, bedienen wir uns an dieser Quelle (siehe Quellcode):

"https://opendata.arcgis.com/datasets/ef4b445a53c1406892257fe63129a8ea_0.geojson"

Wir prüfen, ob wir die Abfrage abändern müssen.