Closed icestorm972 closed 2 years ago
Eventuell ist das Problem nun behoben, oder zumimdest ein Workaround vorhanden. Kurz nach dem Eröffnen des Issues kam ein commit mit 14963 neuen Zeilen in der CSV-Datei.
Danke! :-)
Ich bin ja hier auch nur Beoachterin / Nutzerin und kein Teil des RKI, daher war mein Kommentar gestern auch nur eine Art Vermutung oder Beobachtung.
Zumindest kam heute früh gar kein Update mehr, nicht mal die "halben" Updates die es in den Tage davor gab.
@icestorm972 könntest du dieses Issue nochmal öffnen? Ansonsten müsste ich ggf. ein neues erstellen.
Hallo,
ich habe grade unseren internen Datenstand gegen den hier Publizierten verglichen. Diese sind mit dem Stand heute identisch. Ich beobachte die Lage und würde das Ticket ggf. morgen wieder schließen.
Danke
Update Problem scheint weiter zu bestehen?
"Update 2022-02-24" heute morgen betraf wieder nur "SARS-CoV-2-Entwicklungslinien_Deutschland" aber die beiden "SARS-CoV-2-Sequenzdaten_Deutschland" sind noch auf altem Stand (2022-02-22)
Um eine bessere Übersicht zu haben, ob die Updates gerade bzw. in den letzten Tagen funktionieren, habe ich diese Auswertung über die letzten ca. 30 Tage hier gemacht. Die Grafik aktualisiert sich automatisch alle 2 Stunden und enthält die Zeitpunkte aller Commits, die die jeweilige Datei aktualisieren, also ggf. auch mehrere pro Tag.
Vielleicht hilt euch das ja auch beim Einschätzen der Lage?
PS: Ich hoffe, es kommt nicht irgendwie anklagend / kontrollierend rüber, dass ich diese Auswertung gebastelt habe. Da ich inzwischen täglich Fragen zur Aktualität der Daten bekomme, habe ich viel zu viel Zeit damit verbracht, von Hand die Commit-Logs durchzugehen und wollte in erster Linie den Prozess vereinfachen.
Ich habe den Verdacht, dass es auch mit den fehlenden Tags (https://github.com/robert-koch-institut/SARS-CoV-2-Sequenzdaten_aus_Deutschland/issues/17) zusammen hängt. Gibt es evtl. einen update-Lauf, der tagged und auf github hochlädt - und aus irgend einem Grund nicht immer (durch-)läuft?
Liebe Alle,
leider sind unsere Verarbeitungsprozesse derzeit etwas instabil. Daher können wir momentan keine täglichen Updates aller Dateien garantieren. Wir sind uns des Problems bewusst und versuchen schnellstmöglich Abhilfe zu schaffen. Bis dahin bitten wir die teilweisen Aussetzer zu entschuldigen.
@rgerhards, es ist genau anders herum: Wenn keine neuen Daten über automatisierte Pipeline kommen, gibt es auch keinen Tag. Wenn wir dann manuell eingreifen, kann es sein, dass wir das Tagen vergessen, bzw die Datenstände durcheinander geraten.
Mit besten Grüßen @HannesWuensche für das Team RKI | Open Data
Gibt es schon eine Einschätzung, ob/wann sich das wieder bessern sollte? Ich frage nicht aus purer Ungeduld, sondern um ggf. eine Ersatzlösung zu schaffen:
Sowohl @rgerhards als auch ich denken gerade darüber nach, selbst Pangolin und/oder Nextclade auf eigener Infrastruktur aufzusetzen und damit forlaufend selbst die Zuordnung der Sequenzen zu den Entwicklungslinien durchzuführen. Das wäre natürlich ein gewisser Aufwand, der sich nur lohnen würden wenn:
Im Moment scheint es mir, als ob die Probleme beide Arten von Daten betreffen. So deute ich zumindest diese Grafik von rainer-gerhards.de
@lenaschimmel Im Normalfall sollten entweder Sequenzdaten und Klassifizierung oder keins von beiden in das Repository gepusht werden. Eine Zeitrahmen bis wann unsere Pipelines wieder stabil laufen kann ich nennen. Wir arbeiten mit hoher Priorität daran. Nicht laufende Pipelines verursachen bei uns Mehrarbeit ;)
@cuehs
Im Normalfall sollten entweder Sequenzdaten und Klassifizierung oder keins von beiden in das Repository gepusht werden.
Das klappt leider seit geraumer Zeit nicht mehr in Bezug auf die Datei Entwicklungslinien. Der letzte Update war für die repräsentative Stichprobe ('N') am 3.3., und dann noch mal ein bisschen (nur X, verschwindend wenig A) am 6. und 7. Alle 7-Tage Fenster nach DATE_DRAW sind seit einigen Tagen auf 0 (für 'N').
Daher auch die etwas verzweifelte Idee, die Klassifizierung selbst zu machen (zumindest meine Rechner sind dafür auch ein bisschen schwach).
Hint: Es wäre toll, wenn die Datei Entwicklungslinien mal wieder von Hand gepushed würde. ;-)
Und ja, ich weiß, es ist immer viel zu tun - von daher auch volles Verständnis, wenn keine Zeit dafür da ist. Ansonsten: viel Erfolg mit er Pipeline.
Nachtrag: in Auswertungen sieht das traurige 7-Tage Fenster dann so aus ;-)
@rgerhards ich hab die entsprechenden Kolleg*innen darauf angesprochen. Es sollte morgen früh wieder ein Update geben.
Ich hoffe das die Pipeline jetzt wieder stabil(er) läuft. @rgerhards: sieht es auf deiner Seite besser aus?
Ich kann natürlich nicht für @rgerhards sprechen, aber was die bloßen Zeitpunkte der Commits angeht, ist es nun seit drei Tagen wieder so stabil wie zuletzt um den 25. Februar herum.
Danke!
Ich hoffe das die Pipeline jetzt wieder stabil(er) läuft. @rgerhards: sieht es auf deiner Seite besser aus?
Definitiv! Im Moment kommen die Daten eigentlich genau wie erwartet rein, d.h. am morgen die Entwicklungslinien. Seit Sonntag. Samstag hat's entweder noch gehangen, oder es kommt Samstags kein Update.
Ich seh auch gerade, github ist intelligenter, als ich dachte, Mein Plot hier weiteroben (https://github.com/robert-koch-institut/SARS-CoV-2-Sequenzdaten_aus_Deutschland/issues/15#issuecomment-1064151441 ) aktualisiert sich automatisch, ist kein one-shot cache.
Hi, zur Info: SARS-CoV-2-Sequenzdaten_Deutschland.csv.xz bzw *.fasta.xz sind seit Stand 2022-02-18 nicht mehr aktualisiert worden, während Entwicklungslinien weiter Updates erhalten hatte.