[BRUKERHISTORIE] API for eksport til EDP

oystein-asnes commented 5 years ago

Som: nasjonalt aksesspunkt for åpne offentlige data Ønsker jeg å: tilby et åpent API i tråd med DCAT-AP v2 (EU) Slik at: beskrivelser av åpne datasett kan utveksles med den europeiske åpne data-portalen (EDP) og andre

API-et skal være åpent og kan i prinsippet konsumeres av hvem som helst. EU etterspør også statistikk for bruk av katalogens API.

Relatert til epos: #91

Lenke til design: Lenke til løsningsarkitektur:

NB! Når vi tilbyr DCAT-AP (EU) må vi bruke temaklassifiseringen som er påkrevd, dvs opprinnelig EU-klassifisering. Denne er faset ut, men er (delvis) ivaretatt ved hjelp av Skos-mapping i Los, se https://github.com/difi/los/issues/93

lillelars commented 4 years ago

@oystein-asnes @livarb @stigbd denne er vel ganske viktig? Kan vi gjenbruke hvordan data.norge gjør dette? Eventuelt hva må vi lage for å få dette til hos oss?

Ser fra: https://www.europeandataportal.eu/data/datasets?locale=en&country=no&page=1 at geonorge også blir høstet... Betyr det at vårt uttrekk skal ekskludere de?

livarb commented 4 years ago

@lillelars : Tenker det ikkje er noko å gjenbruke frå korleis EDP importerer frå data.norge.no. I dag haustar EDP via det gamle data.norge-API-et, og dei har skrive eit konverteringsscript om eg hugsar rett. EDP har hatt problem med pagineringa på det API-et, så det kan vere at ikkje alle oppføringar på data.norge.no vert hausta slik det er i dag.

Angåande duplikater frå Geonorge, tenker eg det er verdt å høyre med EDP. Kan vere dei har ein duplikatsjekk av noko slag. Det spørs også om alt innhald i Geonorge blir eksportert til EDP. Det er ikkje sikkert. Elles så eksporterer vel Geonorge framleis berre deler av katalogane sine til FDK, men det er ei anna sak.

livarb commented 4 years ago

Fått svar frå EDP.

Dei kan ta imot DCAT-AP 2.0. FDK blir første til å eksportere 2.0 til EDP då.
Ingen duplikathandtering. Tenker Geonorge då bør skru av sin eksport til EDP for å unngå duplikatar. Må koordinerast med Geonorge.
Fekk ikkje svar på spørsmål om dei vil ha alt innhald, eller berre subset som er opne data. Tenker vi kan begynne med å eksportere alt.

"Currently, the preferred format for harvesting metadata is DCAT-AP 1.2.1. Anyhow, we plan to move forward to DCAT-AP 2.0 anyway and we should already be able to harvest DCAT-AP 2.0.

They would be the first portal that would deliver DCAT-AP 2.0 and we would be happy to test this with them and learn from that experiences. As a starting point, we can provide them a DCAT-AP 1.2 example from Belgium (https://raw.githubusercontent.com/Fedict/dcat/master/all/datagovbe_edp.xml). We are directly harvesting that file.

We are detecting similar datasets, but don't do any actions regarding it. There is always a "similar datasets" tab on each dataset details page."

livarb commented 4 years ago

EDP er klar til å begynne på å setje opp import. Har vidaresendt info til deg på e-post, @lillelars :)

stigbd commented 1 year ago

I og med at vi i dag faktisk blir høsta av EDP, setter vi denne til utført.

oystein-asnes commented 1 year ago

Vi har vel fortsatt problem med "API i tråd med DCAT-AP"-delen av denne jf "DCAT-AP compliance" resultat på 0%: https://data.europa.eu/mqa/catalogues/data-norge-no/?locale=en @stigbd

stigbd commented 1 year ago

Tja, det har vi vel til felles med alle katalogar som er hausta inn til EDP, trur eg. Foreslår i så fall å ta dette i eige issue.

(Forøvrig virkar det som om mqa-resultatet i EDP er resultatet av innholdet i data.norge.no. Og EDP gir 0% dersom det fins minst ein - 1 - valideringsfeil i eitt av datasetta våre. Vi vil aldri kome dit at alle datasetta er feilfrie.)

oystein-asnes commented 1 year ago

Du har rett. Fann ingen land som ikkje hadde 0%. Lukk i vei.

Informasjonsforvaltning / behov

[BRUKERHISTORIE] API for eksport til EDP #93