search

slovak-egov / nkod-portal

Webový portál pre NKOD (Národný katalóg otvorených dát)
Other
1 stars 1 forks source link

URI lokálneho katalógu musí byť použité z vlastnosti endpointUrl #127

Open miroslavliska opened 3 months ago

miroslavliska commented 3 months ago

Pri vytvorení nového lokálneho katalógu sa URI katalógu musí použiť z údaja endpointUrl a nemá sa generovať tak, ako je tomu v prípade registrácii datasetov a distribúcií. Čiže napr. URI LKOD NOCky (vysvietené) image

má mať hodnotu z vlastnosti dcat:endpointUrl, a táto vlastnosť nemá byť vôbec serializovaná. (Patrí len dátovej službe, nie katalógu). Harvester dotazuje LKOD cez toto URI, a tak sa potom nevráti nič.

Napr. URI LKODu Zvolena je správne (preto sa aj harvestuje), ale tiež prosím vymazať vlastnosť dcat:endpointUrl (ako aj pri všetkých ostatných LKODoch). image

hornik-informo commented 3 months ago

Boli sme v tom, že dcat:endpointUrl primáša povinne dodatočná trieda registracie local-catalog-type/1 a obsahujú ho aj pôvodné registračné záznamy, napr.: https://github.com/datova-kancelaria/nkod-registrace/blob/main/lkody/lkod-zvolen.ttl

Nebude problém s tým, že adresa sa môže meniť, ale URI by sa meniť už neskôr nemalo?

hornik-informo commented 3 months ago

Odkazuje na neho aj pipeline: CONSTRUCT { ?catalog a dcat:Catalog, ?type ; dcat:endpointURL ?catalog_endpoint ; dcterms:title ?title ;

miroslavliska commented 3 months ago

Odkazuje na neho aj pipeline: CONSTRUCT { ?catalog a dcat:Catalog, ?type ; dcat:endpointURL ?catalog_endpoint ; dcterms:title ?title ;

Idem to preveriť, ale nie je to ani v štandarde DCAT-AP-SK https://htmlpreview.github.io/?https://github.com/datova-kancelaria/dcat-ap-sk-2.0/blob/main/index.html#rozhranie-dcat-ap-dokumenty

hornik-informo commented 3 months ago

Používateľská príručka NKOD tiež prikazuje dcat:endpointUrl a vlastné, odlišné URI. https://github.com/datova-kancelaria/nkod-dokumentacia/blob/main/pouz%CC%8Ci%CC%81vatel%CC%8Cska%CC%81%20pri%CC%81ruc%CC%8Cka.md

miroslavliska commented 3 months ago

Používateľská príručka NKOD tiež prikazuje dcat:endpointUrl a vlastné, odlišné URI. https://github.com/datova-kancelaria/nkod-dokumentacia/blob/main/pouz%CC%8Ci%CC%81vatel%CC%8Cska%CC%81%20pri%CC%81ruc%CC%8Cka.md

Ano, lebo sme to tak najskor zamyslali, ze zmenime sposob na ny, ako to maju v CR, ale nakoniec sme sa i tak dohodli, ze zachovame CR pristup. A takto su uz tvorcovia LKODov usmerneni. Inak by si museli vsetci prerabat svoje LKODy a vkladat tam URI, ktore my generujeme na servery, a museli by sme upravit pipelines.

Cize som za to, ze treba toto issue implementovat, tvorcov LKODov uz nebudeme vyzyvat na zmenu URI.

hornik-informo commented 3 months ago

V poriadku, upravíme URI LKODov podľa dcat:endpointUrl - máme ho ponechať alebo ho odstránime? Prosím o odstránenie príznaku bug, kedže je toto nová informácia a ani pôvodné registračné záznamy toto pravidlo nerešpektujú.

miroslavliska commented 3 months ago

V poriadku, upravíme URI LKODov podľa dcat:endpointUrl - máme ho ponechať alebo ho odstránime? Prosím o odstránenie príznaku bug, kedže je toto nová informácia a ani pôvodné registračné záznamy toto pravidlo nerešpektujú.

Zatial som ho tam ponechal, hodnota je totozna s URI. Pridam opraveny zip. local_catalog_registration.zip

Inak vsimol som si, ze niekde je vlastnost custom:shouldBePublic "True", a to by asi malo byt vsade. Predpokladam ze to sa objavi po ulozeni cez GUI. Rovnako som neriesil este tuto chybu: https://github.com/slovak-egov/nkod-portal/issues/98, aby sa to vyriesilo naraz.

Co sa tyka tej property endpointUrl, otestujem to na lokalhoste, uvidim ci sa bude dat odstranit.

hornik-informo commented 3 months ago

MZV a znalosti.gov.sk majú iné URI ako endpointUrl v novom zipe. Ako budeme uplatňovať pravidlo pre tieto typy LKODov?

miroslavliska commented 3 months ago

MZV a znalosti.gov.sk majú iné URI ako endpointUrl v novom zipe. Ako budeme uplatňovať pravidlo pre tieto typy LKODov?

Musím to ešte overiť, lebo MZV je CKANova harvestacia (a funguje), a znalosti.gov.sk SPARQL endpoint. Kazdopadne v tom subore v local_catalog_registration pre tento katalog nemaju byt serializovane vlastnosti dcat:record, cize je ich mozne odstranit.

miroslavliska commented 3 months ago

Zaujimave (zvlastne) ale je, ze v SPARQL Endpointe je len 5 katalogov, pricom nie je tam Zvolen. To musim otestovat tiez. image

hornik-informo commented 3 months ago

Neprechádzajú cez pipeline SPARQL construct chunked.

Teoreticky sa tu možno miešajú dve veci, registračný záznam o LKODe a záznam o katalógu, ktorý sa stiahne z endpointu. Registračný záznam je len podklad ku stiahnutiu a skutočný záznam katalógu sa sťahuje z endpointu.

image

V každom prípade upravíme URI tak, ako si želáte, ale budeme potrebovať info, akú URI máme nastaviť pre nové katalógy SPARQL a CKAN, lebo niečo tam uvedené byť musí.

miroslavliska commented 3 months ago

Už viem kde je chyba. Harvestácia má malú koncepčnú chybyčku. Totižto, metadáta katalógu vypĺňame na strane data.slovensko.sk, ale zároveň sú aj obsiahnuté v samotných LKODoch a tieto údaje je nutné evidovať osobitne čím dochádza k chýbaniu povinných údajov v procesingu (napr. kontaktný bod - ktorý síce v štandarde je nepovinný, ale v procesingu je povinný - čo je potrebné zladiť). Viac informácii je samostatnom tasku, aby sa dal urobiť odhad. https://github.com/slovak-egov/nkod-portal/issues/128

miroslavliska commented 3 months ago

Ja zatiaľ nahodím kontaktné body ručne do data.slovensko.sk, aby sa rozbehlo posunulo harvestovanie ďalej, a horeuvedený návrh zadefinujem ako nový task, ktorý uvidíme, či dokážeme riešiť ešte v rámci SLA.