search

atviriduomenys / spinta

Spinta is a framework to describe, extract and publish data (a DEP Framework).
MIT License
11 stars 4 forks source link

Ligoninių duomenys neatsinaujina nuo 2021-09-26 #154

Closed sirex closed 2 years ago

sirex commented 2 years ago

In GitLab by @vzemlys on Sep 30, 2021, 14:39

Paskutinė data iš duomenų rinkinio: https://get.data.gov.lt/datasets/gov/lsd/covid19/LigoniniuDuomenys yra 2021-09-25. O turėtų būti 2021-09-29.

sirex commented 2 years ago

Atsinaujina, tik duomenys rūšiuojami ne pagal date stulpelį. Rūšiuoti pagal date galima taip:

LigoniniuDuomenys?sort(-date)

Pagal nutylėjimą duomenys nėra rūšiuojami, tai reiškia

The actual order in that case will depend on the scan and join plan types and the order on disk, but it must not be relied on.

p.s. šis bug trackeris yra skirtas duomenų publikavimo servisui, o ne duomenų turiniu. Dėl konkrečių duomenų turinio reikėtų rašyti čia:

https://data.gov.lt/dataset/covid-19-ligoniniu-duomenys

sirex commented 2 years ago

In GitLab by @vaidotas.zemlys on Sep 30, 2021, 15:41

@sirex Aš gi csv parsisiunčiau ir patikrinau. Man visual interfeisas nelabai įdomus :) Kad neatsinaujina duomenys ten jau parašiau. Keista kad duomenys atsinaujina Arcgis, bet ne data.gov.lt

sirex commented 2 years ago

In GitLab by @vzemlys on Sep 30, 2021, 15:49

Ok, CSV linkas pasikeitė nuo 2021-09-26 dienos. Atnaujinus linką pradėjo eiti nauji duomenys:

https://github.com/mpiktas/covid19lt/commit/ef20da7dc91781dbedcfb6d5c63d073139524cd9

sirex commented 2 years ago

Negaliu atkartoti problemos:

In [1]: import pandas as pd

In [2]: data = pd.read_csv('https://get.data.gov.lt/datasets/gov/lsd/covid19/LigoniniuDuomenys/:format/csv')

In [3]: data['date'].sort_values(ascending=False).head()
Out[3]: 
1524    2021-09-29
1523    2021-09-29
1522    2021-09-29
1521    2021-09-29
1520    2021-09-29
Name: date, dtype: object
sirex commented 2 years ago

In GitLab by @vaidotas.zemlys on Sep 30, 2021, 15:55

Čia sukosi CI/CD jobas duomenys atsinaujino (data/lt-covid19lt-hospitals-regions.csv):

https://gitlab.com/vzemlys/covid19lt/-/jobs/1623180233

Čia jau nebe:

https://gitlab.com/vzemlys/covid19lt/-/jobs/1624421983

Bet all cool, susiresolvino viskas.

sirex commented 2 years ago

Taip, kol kas get.data.gov.lt servisas veikia pre-alpha režimu, todėl dalykai gali keistis, be išankstinio įspėjimo: https://atviriduomenys.readthedocs.io/api/index.html#statusas-ir-planas

Nuo kitų metų vidurio, nuorodos ir schemos bus backwards compatible ir su tam tikru deprecation periodu.