Beskrivelser av datasett

[yonyonson]

Beskrivelse av behov

Dagens situasjon

Virksomheter beskriver sine datasett i dag, og det er trykk på at virksomhetene skal ha reflektert forhold til sine datasett for å ha orden i eget hus, ha kontroll på informasjonssikkerhet, personvern og sørge for deling av data. Dette omfavner både fagsystemer og NOARK løsninger.

Dette er pålagt i bl. a. i Digitaliseringsrundskriv (lenke). Se §1.2 f. eks.

Samtidig må god del av de samme virksomhetene sørge for å beskrive sine arkiv, arkivuttrekk, arkivversjoner og andre objekter som er relevante i arbeid med arkiv. Dette omfanver som regel NOARK løsninger, men ikke alltid.

Utfordringen

• Nye muligheter for å bruke datasett skapes ved å beskrive den fra perspektiv av orden i eget hus mm, og denne verdien overføres ikke til arkiv beskrivelser
• Mye av arkivbeskrivelser overlappes med andre beskrivelser, og jobben for å beskive gjøres flere ganger enn nødvendig

Eksisterende standarder og løsninger

Det finnes flere måter å beskrive datasett som er relativt utbredte. Her er de:

Informasjonsforvaltning

• Standard for beskrivelse av datasett, datatjenester og datakataloger (DCAT-AP-NO, lenke ). Brukes i Felles datakatalog ( https://data.norge.no )
  • Forvaltes av Digitaliseringsdirektoratet og baserer seg på DCAT-AP (forvaltes av Interoperable Europe i regi av Europakomisjonen) og DCAT (forvaltes av W3C, World Wide Web Consortisum)
• Standarder fra ISO TC 211: Geographic information/Geomatics ( https://www.iso.org/committee/54904.html ) som angår beskrivelse av geodatasett. Brukes i Geodatas kartkatalog ( https://kartkatalog.geonorge.no/ ) :
  • ISO/TS 19139-1:2019 - Geographic information — XML schema implementation
  • ISO 19137:2007 - Geographic information — Core profile of the spatial schema
• DCAT og DCAT-AP for de private. De brukes av blant annen Statnett og andre aktører som har ansvar for å koordinere hele områder

Arkivfaglige standarder

• Archival Data Description Markup Language (ADDML, lenke ): Brukes i dag for å beskrive datasett. Begrepet datasett tolkes her noe annerledes enn i informasjonsforvaltning.

Mål/motivasjon

Løse utfordinger som er beskrevet over

Suksesskriterier/måling

• Det er enkelt for virksomheter å forstå hvordan datasettene de forvalter skal arkiveres
• Virksomhetene kan gjenbruke beskrivelser av sine datasett i arkivbeskrivelser
• Virksomhetene kan bestemme når det er nødvendig for å bruke arkivfaglige standarder, og hvor dette er ikke påkrevd

Område/prosess

• Det blir letter å forvalte for virksomheter sine data
• Arkivverket kommer å kunne påvirke bredere sett av standarder
• Det blir letter å bruke arkivuttrekk pga bedre beskrivelser av datasett

Målgrupper

• Virksomheter
• Kommunale arkivdepot
• Arkivverket

Hastegrad

No response

Forslag til løsning

Kortsiktig løsning: Veileder for å:

• Hjelpe å tolke dagens regler for beksrivelse av datasett i arkivfaglig lys
• Beslriove kobling mellom standarder for datasett og arkivfaglige standarder

Mer komplett løsning: Bearbeide dagens arkivfaglige standarder for å tilpasse seg standarder i informasjonsforvaltning for øvrig

En av mulige måter å løse det på er å vurdere om Records in Context ( RiC, lenke ) kan brukes som standard for å beskrive arkiv, og om det er mulig å trekke koblinger fra RiC til standarder i informasjonsforvaltning.

[yonyonson]

Begrunnelse for prioritering av behovet etter sesjon den 31. januar 2022. Lenke til alle prioriteringer: github.com/arkivverket/standardlab/blob/master/styrende/veikart.md

Verdi

• 🟩 Dette kan være inngangporten til standardisering av objektarkiv, som er relevant og som dekkes ikke i dag.

Hastegrad

• 🟩 Beskrivelse av datasett er relativt sjelden, og det er mulig å leve med noe mindre standardisering
• 🟩 Datasettene som beskrives her er som regel ikke Noark arkiver (men kan også være det)

Risko

• 🟩 Lav risiko fordi det er prosessnøytralt (stiller ingen krav til hvordan data dannes, forvaltes etc.)
• 🟨 Kan være helt i ytterkant av StandardLabs scope - bruker tid på noe som ikke er vårt domene
• 🟥 Høy risiko for at arkivfaglige hensyn ikke (alltid) ivaretas med mindre det suppleres med krav til prosesser (jf. #2, #14 m.fl.)

[solfeggietto]

Kommentar til "Eksisterende standarder og løsninger" til "Beskrivelse av datasett".

• Kommunal sektor representert med Kommunearkivinstitusjonenes Digitale RessursSenter SA (KDRS) har sammen med Arkivverket utviklet en metode KDRS produksjonslinje som lager malsett for beskrivelse av fagsystemer basert på SIARD tabell-uttrekk av databasen
• Det er pr. 11.04.2023 laget 77 malsett for totalt 41 unike systemer (det kan være flere variasjoner innenfor et gitt system samt en samhandling der flere kommunale arkivinstitusjoner, KAI samarbeider om malsettet)
• Malsett er lagret for felles bruk på KDRS Decom server, i tillegg til at man kan ha malsett lokalt, og malsetter kan eksporteres til og importeres inn fra JSON-filformat
• Dette har gitt en betydelig effektiviseringsgevinst og sparte kostnader, og er et resultat av at kommuale arkivskapere ikke har vært i stand til å beskrive systemene og derav nøvendig for å minimalisere datatap av systemer
• Det er planlagt DIP visningsmal for innsyn
• Jeg vil tro at Standardlab sin landing på et utvekslingsformat kan være til nytte i prosessen videre (malsett for system og for visning er jo bare metadata i xml, json eller annet som kobler informasjonselementer fra tabell, felter og relasjoner inn en struktur)
• Verktøyet brukt til å lage malsett er Decom utviklet av Documaster for KDRS-prosjektet

Kommentar til "Beskrivelse av behov" til "Beskrivelse av datasett".

• Kommunale arkivskapere beskriver som hovedregel ikke sine datasett i dag og det er urealistisk å forvente at dette endrer seg med mindre Arkivverket stiller tydelige krav til leverandørene og/eller KAI organiserer seg i å veilede kommunene til å stille krav ved anskaffelse av systemene (helst begge deler)
• Systemer i kommunal sektor brukes av veldig mange kommuner og av den grunn er det viktig at Arkivverket stiller krav til leverandørene om at beskrivelse av informasjonselementene i arkivdanningen dokumenteres (som gjerne automatisk kan komme med i uttrekk/utveksling av data i den metadatastruktur som Standardlab vil ende opp med)
• Mangelen av at leverandørene beskriver informasjonselementene i utgangspunktet er sløseri med våre felles ressurser (økonomiske og menneskelige)
• Et moderne fagsystem vil ha god intern kvalitetssikring av datakvaliteten og vil kunne både oppdage og korrigere feil bruk av informasjonselementene i systemet slik at forutsetningene til leverandørens beskrivelse av datasettet opprettholdes

Dagens situasjon for Noark 5-systemer i kommunal sektor

• Siden Noark 5 er strukturert, så vil f. eks. depot kunne validere data ut i fra den forutgitte strukturen i Noark 5, men det kan godt utvides metadata (beskrivelse) bla. nøyaktig hva den enkelte arkivdel i uttrekket inneholder
• Det burde også være obligatorisk med kvantitative og kvalitative overordnede metadata om uttrekket/informasjonspakken om antall elementer av de ulike typer og informasjonstyper og statuser, generert fra avleverende system og ikke bare tellt opp fra selve Noark 5-uttrekket selv
• Noark 5-systemer fungerer som hovedregel fint, forutsatt at systemet er en oppdatert versjon av en av de aktive leverandører av Noark 5-systemer og at arkivskaper har gode rutiner i arkivdanningen og i oppfølgingen fra arkivleder/dokumentsenteret som kvalitetsikrer saksbehandleres saksbehandling i arkivdanningen
• Konklusjonen er derfor at arkivdanning og uttrekk, bevaring og formidling fungerer godt for Noark 5-systemer
• Forbedringspotensial finnes som flere har nevnt, på at man fint kunne ha gått videre til Noark 6 med mer fleksibilitet som da vil gjøre at flere (alle?) systemer kan fungere godt inn i det som da blir Noark 6

Dagens situasjon for fagsystemer i kommunal sektor

• Nevnte KDRS produksjonslinje for beskrivelse av fagsystemer er brukt av store deler av KAI og dermed norges kommuner i dag, så dermed kan f. eks. Extens skolesystem tas uttrekk av, deponeres/innleveres til depot som da beskriver systemet gjennom Decom, der det også kan lages arkivversjon av produksjonsdokumenter
• Der er et stort forbedringspotensial i å standardisere arkivplanleggingen og dokumentasjon fra arkivskaper

Om hele prosessen

• Hele linje fra arkivplanlegging, implementering, arkivdanning, planlegging av avslutning og ev. uttrekk og eksport og innlevering/overføring av data til andre systemer eller depot og gjenbruk i innsyn bør sees på både overordnet og på detaljnivå og kobles opp med kravsetting til dokumentasjon av nevnte metadata

[lvbachmann]

@solfeggietto Hei, og takk for innspill og engasjement. Dette er punkter vi vil vurdere nærmere når dette behovet behandles.