search

slovak-egov / nkod-portal

Webový portál pre NKOD (Národný katalóg otvorených dát)
Other
1 stars 1 forks source link

Pridanie možnosti sprístupnenia distribúcie cez Dátovú službu (nesúlad s DCAT-AP-SK) #110

Open miroslavliska opened 3 months ago

miroslavliska commented 3 months ago

Nemáme dobre spravený frontend na katalogizáciu distribúcie, ktorá je sprístupnená cez API. Návrh na implementáciu bude už zladený so štandardom DCAT-AP-SK-3.0.0 https://github.com/slovak-egov/centralny-model-udajov/issues/16

miroslavliska commented 3 months ago

TOP Priorita pre WPNKOD-SLA

miroslavliska commented 2 months ago

Momentálne je to implementované takto (nie sú zobrazené podmienky použitia, ktoré sa do screenshotu nedostali): image

Oprava serializácie sprístupnenia datasetu cez dátovú službu, súvisí s novým štandardom DCAT-AP-SK-3.0.0, ktorý bude už táto oprava čiastočne zahŕňať. https://github.com/slovak-egov/centralny-model-udajov/issues/16 . Tu je spracovaný návrh, ako začať serializovať distribúciu, ktorá je dostupná cez dátovú službu.

Distribúcia dostupná cez URL na stiahnutie (bez Dátovej služby):

<https://data.gov.sk/set/44aa74a1-d0be-4f69-b764-bda2fb2bf601/resource/a3f65662-7e3a-4385-8f18-6dd5cc0f7a6e> a dcat:Distribution ;
    leg:termsOfUse [ a leg:TermsOfUse ;
    leg:authorsWorkType <http://publications.europa.eu/resource/authority/licence/CC_BY_4_0> ;
    leg:databaseProtectedBySpecialRightsType <http://publications.europa.eu/resource/authority/licence/CC_BY_4_0> ;
    leg:originalDatabaseType <http://publications.europa.eu/resource/authority/licence/CC_BY_4_0> ;
    leg:personalDataContainmentType <https://data.gov.sk/def/personal-data-occurence-type/2> ] ;
    dcat:accessURL <https://opendata.itms2014.sk/ciselnik-123.csv> ;
    dcat:downloadURL <https://opendata.itms2014.sk/ciselnik-123.csv> ;
    dct:format filetype:JSON ;
    dcat:mediaType application:json ;
    dct:conformsTo <https://opendata.itms2014.sk/scheme/hodnotaCiselnika.json> ;
    dcatap:applicableLegislation <http://data.europa.eu/eli/reg_impl/2023/138/oj> ;
    dct:title "list hodnota číselníka"@sk .

Distribúcia dostupná cez dátovú službu:

Z Distribúcie je odstránené dcat:downloadURL, dcat:conforms a dct:title. Tieto vlastnosti sú serializované do dátovej služby. 

<https://data.gov.sk/set/44aa74a1-d0be-4f69-b764-bda2fb2bf601/resource/a3f65662-7e3a-4385-8f18-6dd5cc0f7a6e> a dcat:Distribution ;
    leg:termsOfUse [ a leg:TermsOfUse ;
    leg:authorsWorkType <http://publications.europa.eu/resource/authority/licence/CC_BY_4_0> ;
    leg:databaseProtectedBySpecialRightsType <http://publications.europa.eu/resource/authority/licence/CC_BY_4_0> ;
    leg:originalDatabaseType <http://publications.europa.eu/resource/authority/licence/CC_BY_4_0> ;
    leg:personalDataContainmentType <https://data.gov.sk/def/personal-data-occurence-type/2> ] ;
    dcat:accessURL <https://opendata.itms2014.sk/api/vratCiselnik?id=123&format=csv> ;
    dct:format filetype:JSON ;
    dcat:mediaType application:json ;
    dcatap:applicableLegislation <http://data.europa.eu/eli/reg_impl/2023/138/oj> ;
    dcat:accessService <https://data.gov.sk/set/44aa74a1-d0be-4f69-b764-bda2fb2bf601/resource/a3f65662-7e3a-4385-8f18-6dd5cc0f7a6e/service/a3f65662-7e3a-4385-8f18-6dd5cc0f7a6e> .

<https://data.gov.sk/set/44aa74a1-d0be-4f69-b764-bda2fb2bf601/service/a3f65662-7e3a-4385-8f18-6dd5cc0f7a6e> a dcat:DataService ;
    dct:title "Hodnota číselníka"@sk ;
    dcat:endpointURL <https://opendata.itms2014.sk/api/vratCiselnik?id=123&format=csv> ;
    dcat:endpointDescription <https://opendata.itms2014.sk/swagger/#/ciselnik/hodnotaCiselnika#list> ;
    dcatap:applicableLegislation <http://data.europa.eu/eli/reg_impl/2023/138/oj> ;
    foaf:page <https://www.data.cz/služba/dokumentace> ;
    dct:conformsTo <https://opendata.itms2014.sk/scheme/hodnotaCiselnika.json> .

Čiže keď to zhrniem: 1) je potrebné pridať novú možnosť (radio button), Súbor je prístupný cez dátovú službu 2) ak bude súbor dostupný cez dátovú službu, tak sa serializuje ako je to uvedené vyššie, tj. distribúcia už nebude mať dcat:downloadUrl ale len dcat:accessUrl, distribúcia dostane novú vlastnosť - legislatívny predpis (môže byť ich 0..N)(dcatap:applicableLegislation), ktorej hodnota je URI 3) dátová služba dostane údaje ako je vyššie uvedené. Tj. bude mať názov, URL endpointu, popis endpointu, legislatívny predpis, dokumentáciu (foaf:page) a dct:conforms.

hornik-informo commented 2 months ago

Prosím ešte upresniť:

  1. Z distribúcie sa odstraňuje (a presúva do DataService) format a mediaType, platí to aj pre compressFormat a packageFormat?
  2. Ako je zadefinovaný prefix dcatap?
  3. Ako sa má validovať dcatap:applicableLegislation, môže to byť ľubovolné URI?
  4. Ako sú zadefinované nové vlastnosti, ktoré nie sú v DCAT-AP-SK 2.01 napr. ich povinnosť?
  5. Dôležitá vec je zadefinovať, ako budú tieto informácie prezentované verejne, napr. na detaile datasetu.
miroslavliska commented 2 months ago
  • Z distribúcie sa odstraňuje (a presúva do DataService) format a mediaType, platí to aj pre compressFormat a packageFormat?

Po hlbšej analýze, pokiaľ používateľ vyberie možnosť, že distribúcia je prístupná cez dátovú službu dcat:DataService, nedôjde k prenosu týchto údajov - tj. format a mediaType na Dátovú službu, ale ostatnú stále zavesené na distribúciu. Tak je to aj v príkladch DCAT-AP-HVD. Pravdepodobne som sa mierne pomýlil, kvoli jednému obrázku, kde boli tieto atribúty navyše uvedené v modeli ako optional, avšak nikde v príkladoch to tak nie je. Rovnako Česká republika implementovala DCAT-AP-3.0 aj HVD presne týmto spôsobom. Avšak stále platí, že vlasnosť distribúcie dcat:downloadUrl sa v tomto prípade schová. Povinná vlastnosť bude dcat:accessUrl.

Podobne ako to majú v DCAT-AP-CZ, pre distribúciu datasetu, ktorý sa bude sťahovať bez dátovej služby platí, že dcat:downloadUrl = dcat:accessUrl, a v prípade, že bude distribúcia dostupná cez Dátovú službu, tak dcat:accessUrl distribúcie, bude totožné ako dcat:endpointUrl Dátovej služby.

  • Ako je zadefinovaný prefix dcatap?

Je to: http://data.europa.eu/r5r/

  • Ako sa má validovať dcatap:applicableLegislation, môže to byť ľubovolné URI? Nemôže. Musí mať minimálne v sebe reťazec eli

Viac informácií je tu: https://wiki.vicepremier.gov.sk/pages/viewpage.action?pageId=101834353

Aby sa dali referencovať zákony, musia byť na to správne ELI uričká. Takto aspoň zamedzíme, aby tam pridávali poskytovatelia čokoľvek. Dôležitá ale informácia je, že všetky relácie dcatap:applicableLegislation sú v kardinalite 0... Pri datasete typu HVD je to [1..]

  • Ako sú zadefinované nové vlastnosti, ktoré nie sú v DCAT-AP-SK 2.01 napr. ich povinnosť?

Toto bude kompletne zhrnuté v novom štandardne DCAT-AP-SK-3.0.0 https://htmlpreview.github.io/?https://github.com/slovak-egov/centralny-model-udajov/blob/develop/tbox/national/dcat-ap-sk/index.html

Okrem týchto uvedených vecí, ktoré treba opraviť v súvislosti s Dátovou službou, ešte vytvorím jeden task, ktorý došpecifikuje ostatné doplnenia metadát do katalogizácie, aby sme boli zhodný s DCAT-AP-SK-3.0.0

  • Dôležitá vec je zadefinovať, ako budú tieto informácie prezentované verejne, napr. na detaile datasetu.

Pri správe datasetov poskytovateľom sa rozšíri ten radio button, ako je distribúcia prístupná, ak to bude službou, tak sa vyplnia údaje podľa definície uvedennej vyššie v tomto vlákne. Pre návštevníka sa zmení len to, že po rozkliknutí detailov distribúcie objavia aj údaje súvisiace s dátovou službou. Navrhujem ale zmeniť prvky tak, aby zobrazované URI neboli také krátke a na viacerých riadkoch.

hornik-informo commented 1 month ago

Na teste sme sprístupnili správu dátových služieb, príklad zobrazenej služby je tu: https://wpnkod.informo.sk/datasety/60f48960-dabe-43a9-a4f9-6d65bebd90ea