Open salgo60 opened 1 year ago
Myndigheterna borde definitivt identifieras med en identifierare. Tyvärr kan jag bara föreslå orgnummer, vet ej om det finns ett annat sätt.
Lite teoretiskt vill jag att https://offentligkod.se/item/"https://gitlab.com/arbetsformedlingen/designsystem" borde ge utslag på om programvaran används eller inte. Men det kanske är mer än tjänst som är enkelt att bygga, och inte något som ska blandas ihop med identifieraren.
@jonassodergren kolla med ESV hur dom tänker....
vore även intressant att veta om dom har ett kontrollerat vokabulär - och att detta vokabulär skulle vara samma som testas att kopplas till Riksdagens motioner känns som det kan skapa mervärde cc: @SchermanJ
ESV datalab - svenne.junker@esv.se
Myndigheterna borde definitivt identifieras med en identifierare. Tyvärr kan jag bara föreslå orgnummer, vet ej om det finns ett annat sätt.
Skall man bli filosofisk så skulle vi vilja kunna se myndigheter över tid och ha relationer mellan olika länders myndigheter.... tror Datastory funderar lite på det med att versionshantera politiska processer i sin artikel "Fork me: The version-controlled political party"
5 star data Riksdagens Öppna data Det som jag saknar är att när instruktioner hos Riksdagen öppna data publiceras så anges myndigheterna endast med text strängar i bröd text.... vi har försökt säga till Riksdagen att 5-star data är nödvändigt men gissar att vi saknar ett Digitalt ekosystem där lagar, motioner i Riksdagen kopplas till EU, myndigheter etc....
Lista Riksdagens beslutade instruktioner med länk API, länk lista med html doc
se Riksdagen Öppna data problem - backlog på saker vi rapporterat men inte ser i en publik backlog
Intressant. Jag är mer på en superkonkret nivå. https://www.bolagsverket.se/bolag/{orgnummer} borde finnas kan jag tycka.
;-) du har ett jobb jag har en hobby som skall ge mig lite intellektuell stimulans på min ålders höst...
Exempel DIGG som borde ha en identifierare som finns med redan när den får sin instruktion i Riksdagens Öppna data
där borde Riksdagens öppna data ha
Identifiera myndighet ESV i data set Utgifter januari 2022 csv
Katalogen har börjat att användas nu. Så nu är det fullt möjligt och lämpligt att börja tillhandahålla katalogen som ett dataset, flera organisationer verkar ha haft nytta utav den. Varje programvara kan definitivt identifieras med en unik URI. Det går att lösa, risken är att det blir att egenpåhittat nummer. Typ https://offentligkod.se/programvara/UUID eller dylikt. Tror inte standarden https://github.com/publiccodeyml/publiccode.yml/blob/main/docs/standard/example/publiccode.yml föreslår ett id-nummer per mjukvara. Ska rådfråga @Ainali som kanske har en idé.
Ska rådfråga @Ainali som kanske har en idé.
I kriteriet Make the codebase findable i Standard for Public Code föreslår vi antingen ett objekt i Wikidata, eller att skapa en post i FSF's Free Software Directory för att få ett ID.
risken är att det blir att egenpåhittat nummer
eller så är det en bra tillsvidare lösning eller tills vi lär oss mer...
Tror inte standarden https://github.com/publiccodeyml/publiccode.yml/blob/main/docs/standard/example/publiccode.yml föreslår ett id-nummer per mjukvara
@jonassodergren Känns spontant fel att inte ha unika identifierare har inte pip install massa möjligheter att ange dependencies och peka på det unika modul namnet
att skapa en post i FSF's Free Software Directory för att få ett ID.
Wikidata egenskap Property:P2537
Tack för bra återkoppling @Ainali och @salgo60. De flesta programvaror kommer vara sådana som används av offentlig sektor, om de programvarorna som används själva har ansökt eller inte är svårt att kontrollera. Just Python lider extremt mycket av https://en.wikipedia.org/wiki/Transitive_dependency där det ej går att styra tredjepart-bibliotek, och resultatet är programvaror som har tydliga versionsnummer där koden för samma version skiljer sig åt beroende på tid. Så jag glömmer din python-klommentar.. ;)
Japp läser man länken i min post så sa dom ung, det.... steg 0 är nog bara att veta att man pratar om samma saker... att skapa en "Dependency Manager" är en annan nivå gissar jag.... 😃
En tanke som slår mig är att vi kanske borde ha dependency grapher mellan olika data set dvs. att dataset A på dataportalen fungerar med dataset B,C,D,E genom att vi har en gemensam termkatalog.... tycker WD mönstret med egenskaps namn som P + siffra e.g. P2537 är snyggt och sedan kunna visa det på flera språk ex. lista känns 2022...
Ett API eller dylik teknik för att tillhandahålla data brukar oftast följa https://semver.org/. Har faktiskt reflekterat över att det inte finns en korrelation mellan mjukvarans version och datans/innehållets version. Någon borde ha tänkt på det.
mellan mjukvarans version och datans/innehållets version
börjar du inte ha det när man kan ta hem hela Notebooks / eller container kits som Docker ?!?!? Har för mig att standard installationen av Jupyter så kan man köra ett exempel med en Nobelprisvinnare......
Gissar att vetenskapliga rapporter är mer noggranna...
Steg 0: Är nog DOI för att peka unikt på dataseten gärna med version....
Exempelvis en docker-image med en version som stegas från 1.2.3 till 1.2.4 till 1.3.0 innehållande ett api kan ha oförändrad datamodell, eller så har flera nya informationsattribut tillkommit. Troligtvis har ej information tagits bort då det leder till att API:et ej är bakåtkompatibelt. Informellt hanteras versionen av datan oftast i dokumentation, men känner inte till en "best practice". Vetenskapliga artiklar är primärt bra på att ange referenser till data.
@jonassodergren ny förkortning GUPRI Globally Unique, Persistent and Resolvable Identifier - video
cc: @dpriskorn tror FAIRDATA och FAIR-principles är ett bättre begrepp att trumma in än 5-stardata appropå ditt inlägg på portalen. Tror det även kan duga till att skapa en dashboard hur olika dataset uppfyller detta
Myndigheterna borde definitivt identifieras med en identifierare. Tyvärr kan jag bara föreslå orgnummer, vet ej om det finns ett annat sätt.
Jag ringde ESV och frågade om beständiga identifierare på myndigheterna. Orgnummer görs av scb tydligen. Oklart om det är stabilt över tid.
Oklart om det är stabilt över tid.
Tills något talar för motsatsen tror jag att vi lugnt kan förutsätta att det är stabilt.
Tills något talar för motsatsen tror jag att vi lugnt kan förutsätta att det är stabilt.
Vi kan ju hanterar det i Wikidata precis som vi gör med kommunkoder som förändras för kommuner
Tack för bra återkoppling @Ainali och @salgo60. De flesta programvaror kommer vara sådana som används av offentlig sektor, om de programvarorna som används själva har ansökt eller inte är svårt att kontrollera. Just Python lider extremt mycket av https://en.wikipedia.org/wiki/Transitive_dependency där det ej går att styra tredjepart-bibliotek, och resultatet är programvaror som har tydliga versionsnummer där koden för samma version skiljer sig åt beroende på tid. Så jag glömmer din python-klommentar.. ;)
Jag har börjat med poetry nyligen och den skapar en låsfil så jag kan garantera att jag testat på exakt samma biblioteksversioner som användaren får vid installation 😀
@jonassodergren ny förkortning GUPRI Globally Unique, Persistent and Resolvable Identifier - video
tror NOSAD bör prata mer att ert data skall vara FAIRDATA
cc: @dpriskorn tror FAIRDATA och FAIR-principles är ett bättre begrepp att trumma in än 5-stardata appropå ditt inlägg på portalen. Tror det även kan duga till att skapa en dashboard hur olika dataset uppfyller detta
![]()
- bild från FAO Put FAIR principles into practice and enjoy your data
Tack, enig FAIR verkar bättre 😊
Håller med, FAIR-data är mer omfattande. @dpriskorn du kommer långt med en låsfil, men inte hela vägen. =)
Jag vill bara notera att det är riskfyllt att marknadsföra FAIR-data som något önskvärt då de den tillåter alla möjliga slags licenser som till exempel för icke-kommersiell användning eller sådana som begränsar bearbetning (t.ex. CC BY-NC och CC BY-ND).
Det vill säga, bara för att något uppfyller FAIR, så är det inte nödvändigtvis öppna data. Detta kan såklart vara mycket förvirrande varför jag föreslår att när man vill uppmuntra till publicering av öppna data, inte bör föreslå FAIR alls då det riskerar att få någon att helt missa målet trots att de uppfyllt kraven för det som man föreslagit.
Ok @Ainali jag är nog i steg 1 ute efter att saker har identifierare och externa länkar så FAIRDATA är åt rätt håll till att ha bättre data och kanske få data leverantörerna att se vad som saknas.... status idag när vi tvekar på hur en myndighet identifieras efter 10 år med dataportalen känns galet...
Min test med Nobeldata och att dom säger samma som Wikidata gör att vi vet på 5 sekunder vem som får årets Nobelpris så skall all data vara se #13 tänk om Riksdagens Öppna data och Kommunernas Anslagstavlor var designade med samma kvalitet på metadatan och med externa referenser dvs. 5 Star data
Jag gillar Daniel Mietchens presentation 2017 hur snyggt Wikidata Wikibase uppfyller FAIRDATA
Vid 8 min https://media.ccc.de/v/wikidatacon2017-10041-lightning_talk_session_4#t=468
Jag vill bara notera att det är riskfyllt att marknadsföra FAIR-data som något önskvärt då de den tillåter alla möjliga slags licenser som till exempel för icke-kommersiell användning eller sådana som begränsar bearbetning (t.ex. CC BY-NC och CC BY-ND).
Det vill säga, bara för att något uppfyller FAIR, så är det inte nödvändigtvis öppna data. Detta kan såklart vara mycket förvirrande varför jag föreslår att när man vill uppmuntra till publicering av öppna data, inte bör föreslå FAIR alls då det riskerar att få någon att helt missa målet trots att de uppfyllt kraven för det som man föreslagit.
Tack för påpekandet om detta. Jag tänker att om vi ber om FAIR data som även följer DIGGs rekommendationer om öppna data då kommer vi runt detta i de flesta fall.
Ska man använda FAIR, så skulle jag säga att det endast är användbart för kvalitetskontroll av data som redan är öppen. Att försöka göra öppen data av oöppen FAIR data är mycket svårare. (Dvs. be om öppna data som följer DIGGs rekommendationer, samt även FAIR data principles snarare än i den andra ordningen.)
Ska man använda FAIR, så skulle jag säga att det endast är användbart för kvalitetskontroll av data som redan är öppen. Att försöka göra öppen data av oöppen FAIR data är mycket svårare
@Ainali förklara gärna hur du tänker att rensa upp licens info känns för mig snabbt men kanske politiskt jobbigt... Att fixa dålig metadata kvalitet är att starta om från scratch igen och "tidigare jobb" är bortkastat....
Kollar vi på kultursektorn uppfattar jag att dom är mycket mera "mogna" då det gäller licens än kommuner och myndigheter
Exempel
Saker som skickas till Europeana verkat ha tydlig licens info men är en katastrof med massa text strängar
MEN den metadata som skickas är mest textsträngar trots att man i fallet Europeana har skickat data > 10 år - min blogpost
Det jag ser med kulturdata dålig data bra licens: Europeana data verkar nu vara värdelös för ML dvs. man måste göra om allt dvs. det finns en stor #metadatadebt --> enormt jobb att åtgärda dåligt metadata dvs. det FAIRDATA försöker styra upp
Byta licens = enkelt/snabbt? Skulle kulturinstutitionerna haft FAIRDATA och sedan bestämma sig för en annan licerns känns det som ett 10 sekunders jobb att byta licens? Idag med bra licens och dåligt metadata kommer dom aldrig att fixa det
OT men frustrerande med KB att dom inte är tydliga med vad som görs, produktionssätts etc... vi vet inte om dom gjort något med licenser sedan dom svara 2019 nov
Även om du i teorin har rätt i att det kan ta 10 sekunder att byta licens så är min erfarenhet att det är en sorts myndighetsbeslut som en enskild tjänsteperson inte kan göra. Istället bollas det upp en nivå, jurister blandas in och beslut drar ut på tiden.
Därför är det min åsikt att det är viktigare att få licensen rätt först så att man kan undvika att behöva städa i den frågan. För att alla de andra dataförbättringarna kan en enskild tjänsteperson eller projektgrupp bestämma att genomföra själva (förutsatt att det finns tid budgeterat).
@Ainali tack. Jag tycker att
Min tro:
Seminarium data.europa academy 2nd webinar for data providers: ´Understanding open data: technical openness`
Publikation "Data.europa.eu data quality guidelines"
Uppdatering. (Ignorera fältnamn)
{
"taggar": "Identity and Access Management (IAM)",
"programvara": "EJBCA",
"usedBy": "RPS",
"link": "https://www.ejbca.org",
"beskrivning": "Programvara för utgivning och hantering av digitala certifikatr",
"id": "0ca53b5b2582ccf4e7a49cc474d52287"
},
{
"taggar": "Spring",
"programvara": "Spring Boot",
"usedBy": "LFV",
"link": "https://spring.io/projects/spring-boot",
"beskrivning": "r",
"id": "130469dc36ad9c42a4e242ba34dc81a8"
},
{
"taggar": "Geodata. System för lagring; hantering; analys och visualisering",
"programvara": "QGIS",
"usedBy": "SMHI",
"link": "https://www.qgis.org",
"beskrivning": " Generellt geodata(GIS)-verktyg som kan analysera; bearbeta och visualisera geodata från alla förekommande källor.r",
"id": "1312d51d8f9ad69aef4124261ea584bb"
}
Just nu skapas id-numret (en MD5-hash) baserat på URI:en till mjukvaran som får anses unik. Känns ganska flexibelt.
Leder till följande mönster för att identifiera en programvara: https://offentligkod.se/api/programvara/130469dc36ad9c42a4e242ba34dc81a8
Tyck gärna till.
@jonassodergren FYI @Ainali twittrade
Tror ju fler externa identifierare du har desto bättre.... Tim Berners Lee säger att data is relations
Uppdatering. (Ignorera fältnamn)
{ "taggar": "Identity and Access Management (IAM)", "programvara": "EJBCA", "usedBy": "RPS", "link": "https://www.ejbca.org", "beskrivning": "Programvara för utgivning och hantering av digitala certifikatr", "id": "0ca53b5b2582ccf4e7a49cc474d52287" }, { "taggar": "Spring", "programvara": "Spring Boot", "usedBy": "LFV", "link": "https://spring.io/projects/spring-boot", "beskrivning": "r", "id": "130469dc36ad9c42a4e242ba34dc81a8" }, { "taggar": "Geodata. System för lagring; hantering; analys och visualisering", "programvara": "QGIS", "usedBy": "SMHI", "link": "https://www.qgis.org", "beskrivning": " Generellt geodata(GIS)-verktyg som kan analysera; bearbeta och visualisera geodata från alla förekommande källor.r", "id": "1312d51d8f9ad69aef4124261ea584bb" }
Just nu skapas id-numret (en MD5-hash) baserat på URI:en till mjukvaran som får anses unik. Känns ganska flexibelt.
Leder till följande mönster för att identifiera en programvara:
https://offentligkod.se/api/programvara/130469dc36ad9c42a4e242ba34dc81a8
Tyck gärna till.
Jag har ett förbättringsförslag 😀 Använd Wikidata QID i used by också. Tex UsedBy: { name: LFV, wikidata: Q12345 } Samma för taggar och programvara. Om programmet mot förväntan saknas på Wikidata kan du pinga mig så fixar jag det 😀 Då bliver det lättläst och maskinläsbara länkar på samma gång 😀
@dpriskorn hittade detta cc: @jonassodergren
känns fel att poster i registret i sig inte har persistenta unika identifierare för varje myndighet så det skulle kunna byggas på med mer information och refereras....
Myndigheterna borde definitivt identifieras med en identifierare. Tyvärr kan jag bara föreslå orgnummer, vet ej om det finns ett annat sätt.
Vad jag kan se så finns inget offentligt register utanför Wikidata med alla svenska myndigheter på ett ställe inklusive unika beständiga identifierare. Jag tänker fråga SCB om orgnummer är beständigt, om de återanvändas likt nummerplåter eller liknande.
Körde Open Refine och åtminstone en ny
Fondtorgsnämnden ny myndighet -->
Lesson learned:
Myndighetsregistret har varken API, SPARQL eller ändringsström heller så vi kan inte lätt samköra och säkerställa att datan är korrekt. API first verkar inte ha spridit sig till myndigheterna än.
@dpriskorn Och frågan är var man skall börja
Att sedan ha i ryggsäcken misslyckande som Rättsinformationssystemet som efter 15 år ger upp och misslyckas med att 100 myndigheter skall leverera några 1000 dokument, så borde man inse att en ny myndighet som verkar helt misslyckats med att jobba transparent inte blev bra
Samma passivitet som med museer ingen bryr sig och blir förbannad... vi behöver folk som tar fighten... säger jag till ESAM att deras digitala data länkar författningar vi inte kan hitta SKALL DOM REAGERA
Fixade Wikipediaartikel. Citeq verkar saknas. 🤷♂️
Fixade Wikipediaartikel. Citeq verkar saknas. 🤷♂️
@dpriskorn kollar du wikidata objektet för mallen Q22321052 så finns svWikipedia vet inte om alla funktioner finns
Tyvärr är svWikipedia gubbarna inte helt övertygade att saker skall citeras via WD
@gjonor uppdaterade NOSAD org.csv och jag reflekterade över fördelen att ha WIkibase istället för GITHUB
fördelen om vi "tar steget över" till Wikibase är att då
GITHUB tycker jag har massa fördelar men jag tycker Wikibase med modellen att kunna ha motstridiga egenskaper och att kunna modulera saker som värdmyndighet se vad jag försöker göra med nya myndigheten Fondtorgsnämnden är det vi skall men jag ser inte att laguppställningen finns och ingen pratar om att skapa ett nytt ekosystem..... NOSAD är bra men lösa diskussioner löser inte saker...
Ja jag tänker i samma banor och funderar över metodiken för att överföra datan till Wikibase. Hur ska datamodellen se ut och hur görs inmatningen.
Det tekniska tycker jag Wikidata visar på går att rel. enkelt går att göra av folk med olika bakgrund men var är laget som skall göra detta med myndighetsdata.... ?
Att hoppas på att detta ekosystem skall kunna leverera Länkade data där > 200 myndigheter och 290 kommuner utan ett fungerande ekosystem, utan publika backlogs, med massa misslyckande bakom sig skall skapa saker ihop är inte seriöst.... det är bara DIGG som har ett mantra att Sverige skall bli bäst
Har nu uppdaterat programvarukatalogen, https://offentligkod.se/, med ett enklare API https://offentligkod.se/api. API:et är i sin enklaste form, ska fixa till det de närmsta dagarna. Men vad sa vi om identifierare för myndigheter? Kom vi fram till att orgnummer är den enda lösningen?
Publicerade sök-indexet också för den intresserade, https://offentligkod.se/index.json.
Har nu uppdaterat programvarukatalogen, https://offentligkod.se/, med ett enklare API https://offentligkod.se/api. API:et är i sin enklaste form, ska fixa till det de närmsta dagarna. Men vad sa vi om identifierare för myndigheter? Kom vi fram till att orgnummer är den enda lösningen?
Det är i dagsläget oklart eftersom SCB inte svarade på min fråga om de är beständiga över tid 🤷♂️ Jag föreslår att ni skapar egna och säkerställer deras beständighet själva. Ni kan ju ha med orgnummer också i ett fält men inte lita på det över tid. Då kan vi i Wikidata och oswald länka till NOSAD orgid som man kan slå på i er API.
Har nu uppdaterat programvarukatalogen, https://offentligkod.se/, med ett enklare API https://offentligkod.se/api. API:et är i sin enklaste form, ska fixa till det de närmsta dagarna. Men vad sa vi om identifierare för myndigheter? Kom vi fram till att orgnummer är den enda lösningen?
Önskar mig sameAs -> wikidata ->QID för alla poster. För första posten kan ni tex länka till Q946976 null om programvaran inte finns än i wikidata.
Bra. Kan ni hjälpa mig att hitta lämpliga QID för programvaror så lägger jag in sameAs? Om wikidata har lika informativa sidor som Q946976 ska jag överväga en "läs mer" funktion i gränssnittet som länkar till wikidata.
Kanske en kandidat se länk