[BRUKERHISTORIE] Måling av metadatakvalitet i samsvar med data.europa.eu

shenluna commented 2 years ago

Som: tilbyder av data Ønsker jeg å: vite noe om kvaliteten på beskrivelsene jeg tilbyr Slik at: jeg kan forbedre kvaliteten på virksomhetens datakatalog

EUs måling: https://data.europa.eu/mqa/methodology?locale=en

Gapanalyse-metadatakvalitet.xlsx

Relatert til epos:

Lenke til design: Lenke til løsningsarkitektur:

Forretningsverdi (Kritisk/Viktig/Mindre viktig/Kjekt å ha):

shenluna commented 2 years ago

Flyttet over fra Datadeling https://github.com/datadeling/behov-issue-tracker/issues/138 Se gammel brukerhistorie for historikk.

oystein-asnes commented 1 year ago

Har testa med dette datasettet som case: https://data.norge.no/organizations/991825827/datasets/c479c6db-af9d-4467-a238-f30480d153e9. Finn ein del negative måleresultat som ikkje samsvarar med den informasjonen som ligg i reg.-løysinga. Truleg fungerer målinga som den skal, men inputdata frå registreringsløysinga er formatert feil . Finn også ein del eksempel på at vi testar på eigenskapar som reg.løysinga ikkje støttar, @joachim-me

Kontekst:

[ ] File Size: Egenskapen er ikkje støtta av reg.-løysing #738
[ ] Rights: Egenskapen er ikkje støtta av reg.-løysing https://github.com/Informasjonsforvaltning/dcat-ap-no/issues/475 og #741

Interoperabilitet:

[ ] DCAT-AP compliance: Feilar. Det gjer også heile datasettkatalogen i EDPs katalog-test. Sjekk DCAT-output og EDP sine valideringsfeil #742
[ ] Format match: Her ser det ut til at vi brukar feil vokabular. EU har skifta frå IANA til http://publications.europa.eu/resource/authority/file-type.
[ ] Format/Media type machine interpretable: Feilar. Heng mest truleg (?) saman med feil format-vokabular i reg. løysinga
[ ] Format/Media type non proprietary: Feilar. Samme feil som over (?)
[ ] Media type: Feilar. Truleg følgefeil av DCAT-AP-NO sin norske vri på format/Mediatype
[ ] Content syntax valid: Feilar utan å gi feedback på kvifor. Truleg følgefeil av feilen over

Alle punktene over følges opp videre i #743

Gjenbrukbarheit:

[ ] Access restriction vocabulary: Feilar. Her er skal vi være up to speed med DCAT-AP, så uvist kvifor denne feilar. #744
[x] Known license: Feilar. Lisens er oppgitt (CC0), så her må vi sjekke URI-en som reg.løysinga spyr ut.
[x] License information: Feilar. Lisens er oppgitt (CC0), så her må vi sjekke output frå reg.løysinga

jeffreiffers commented 1 year ago

DCAT-AP compliance sjekkes ikke per i dag. Ligger i pipelinen å lage en tjeneste som skal sjekke dette. Fikses her https://github.com/Informasjonsforvaltning/fdk-issue-tracker/issues/624

Har du noe eksempler på hvor format/mediatype ikke får score?

Access restriction sjekk var ikke implementert. Fikses her https://github.com/Informasjonsforvaltning/fdk-mqa-property-checker/issues/27

Known license sjekk var ikke implementert: Fikses her https://github.com/Informasjonsforvaltning/fdk-mqa-property-checker/issues/26

License information skal være riktig implementert. Har du noe eksempler som burde fått poeng?

oystein-asnes commented 1 year ago

Har du noe eksempler på hvor format/mediatype ikke får score?

@jeffreiffers Her er det ingen som får score i dag. Eller meir presist: Alle får godkjent Format, men det ser ut som denne berre testar om det er oppgitt ein verdi og Format match sjekkar om gyldig URI er på plass. Eksempel: Denne feilar på Format match, Format/media machine interpretable og Format/media type non proprietary. Min hypotese er at alle desse er følgefeil av at vi ikkje brukar rett vokabular for format.

License information skal være riktig implementert. Har du noe eksempler som burde fått poeng?

Samme eksempel som over. Denne burde i teorien fått poeng. Men er har vi brukt URL til lisensen som URI og ikkje EUs lisensvokabular Her må vi hente ut URI-ar for dei lisensane vi har i registrering i dag (NLOD 2.0, CC0 og CC-BY 4.0) og putte inn i reg.-applikasjonen /reference data og ETL-e eksistande datasett.

stigbd commented 1 year ago

Forslag til løysing av format/media-type problematikken i registreringsløysinga:

under egenskapet Distribusjon->format skal brukar velge frå eu sitt "file-type" vokabular. Denne skal publiserast på dct:format egenskapen.
innfør ny egenskap Distribusjon->medietype og la brukar få velge frå iana. Denne skal publiserast på dcat:mediaType egenskapen.

Vi må så gjere ein ETL på eksisterande datasett i registreringsløysinga. Så kan vi la fdk-reasoner-service "rekne ut" ei mapping dersom ein av disse ikkje er oppgitt.

Høyres greit ut @oystein-asnes ?

På lengre sikt bør vi undersøke om ikkje dct:MediaType bør vere lov under dct:format, sidan dct:MediaType faktisk er ein sub-klasse av dct:MediaTypeOrExtent ref http://purl.org/dc/terms/MediaTypeOrExtent Eg meiner altså at EU tek feil her.

oystein-asnes commented 1 year ago

Dette er god fisk @stigbd. Dei vi haustar frå, kan også ha nytte av mapping-tabell. Vi kan vurdere å tilby dette som eit datasett.

oystein-asnes commented 1 year ago

Valideringstenesta fungerer som den skal, men det det er ikkje muleg å oppnå 100% med dagens reg,løysing. Alle oppgåver knytt til dette er det oppretta eigne issues for. @jeffreiffers

Informasjonsforvaltning / behov

[BRUKERHISTORIE] Måling av metadatakvalitet i samsvar med data.europa.eu #729