search

salgo60 / Anslagstavla

Se om vi kan koppla ihop Wikipedia med Anslagstavlor
https://salgo60.github.io/Anslagstavla/
1 stars 0 forks source link

Skapa kopplingar mellan löst kopplade system och undvika datasilos - Observer pattern #36

Open salgo60 opened 1 year ago

salgo60 commented 1 year ago

Skall vi komma bort från dagens "skit data" och datasilos så måste det skapa ekosystem där A vet om att B refererar A osv...

En lösning är Observer pattern

En snygg implementering av Observer pattern vore att även i löst kopplade system kan saker som citation graphs skapas.... dvs. att system A vet om System B

image

dvs. att en SFS som Riksdagen har skulle kunna ha koll på vilka myndighetsförfattningar som refererar den, att utredningar som refereras kan am med ett klick kunna se vilka som refererar till den se #100 #85 status idag är att ex. Esamverkan publicerar dokument som refererar myndigheter som upphört och ligger i en kartong hos Riksarkivet dvs. det saknas helt vettig dokumenthantering vilket jag ser som en brist i vår demokrati och att Sveriges Riksdag inte har 5-star data

Behovet av best practices är stort för att styra icke digitala organisationer att fungera i ett ekosystem med persistenta identfierare se #4

salgo60 commented 2 months ago

Maintenance hell - utan tombstone pages #38

3775 fel wikidata -> RAÄ - enorma kostnader att underhålla ett dåligt ekosystem för persistenta identifierare

Hantera livscykeln med persistenta identifierare från att

  1. någon önskar att en PID skapas
  2. tills den landar på exempelvis Riksarkivets hyllor

Jag testade 2023-09-08 att köra igenom 173 000 länkar Wikidata -> RAÄ där RAÄ inte har följt Best Practices for Tombstone Pages som rekommenderas ovan utan endast ger dig http-koden plus en statisk text --> att städaktiviteten att förstå vad som sker blir konsumentens problem = "ett reningsverk vid varje handfat" --> Maintenance hell

Rekommenderat utseende på tombstone page

image

This page conforms to best practices for tombstone pages.

1) It contains a full bibliographic citation of the item, so users can confirm they have located the correct item. 1) It includes the DOI displayed as a URL. 1) It gives a reason for the unavailability of the item.

RAÄs ekosystem med httpkoder och en statisk text på svenska - Problem 1: följer inte rekommendationen på tombstone pages

Exempel fel från RAÄ

image image 
Number records in Wikidata: 173028
OK: 169250 not ok 3775
Ended: 2023-09-08 14:04:25.417392

Status samma test 2021-03-25 med samma dataset fel funna 4605

På Wikipedia diskuterades detta fel från 27 september 2020

Problem 2: RAÄ saknar bra mönster för att hitta länkröta i sina system - jmf Humlab Riksdagen Corpus

RAÄ saknar publika backlogs och enkelhet att logga fel med helpdeskid --> maintenance hell för konsumenten

Att kontinuerligt kolla av sina PID:ar och datakällor dom kopplar till som Wikidata gör Humlab Riksdagens Corpus något som alla måste göra...Jag sliter en del med Svenska Riksdagsmän och Wikidata där ett forskningsprojekt Riksdagens corpus valt att ange samma som Wikidata eftersom Wikipedia är den organisation som har bäst kunskap över svenska Riksdagsmän över tid i Sverige (borde vara Riksarkivet och Sveriges Riksdag eller Kungliga Biblioteket...)

image

image

Problem 3: RAÄ saknar bra mönster när organisationer lämnar dom - dom verkar bara ta bort posten och skicka 404

I körningen ovan finns ett bra mönster att man i PID:en kan se agenten exempel /LSH/agents/12250 --> LSH

1) jag vet för jag strulat en del med detta data att LSH var "Livrustkammaren och Skoklosters slott med Stiftelsen Hallwylska museet" 1) Resultatet av denna gegga Wikidata har nu 1902 "fel i wikidata" som har denna agent 1) min gissning är att dessa finns nu hos SHMM se artikel 2017-06-01 "SHMM och LSH går samman" och 2023 efter 6 år har dessa poster 1) troligen blivit flyttade till SHMM 2) I wikidata har SHMM lagt till en ny WD egenskap med Wikimedia Sveriges hjälp se egenskapsdiskussion för Id i Statens historiska museers samlingar som blev Property:P9495 3) Wikimedia Sverige användare AliciaFagerving(WMSE) och LinneaKarlberg har sedan lagt in Property:P9495 > 30 000 ggr i Wikidata
4) Någon på RAÄ tänker inte persistenta identifierare och att externa aktörer fortfarande pekar på dom med det gamla id:et --> att man tar bort det och ger oss konsumenter "Felkod: 404 (Not Found) Service: Ksamsök."

Flera fel gjorda lesson learned är att skapa detta kaos är inte bara att ett fel görs man brukar prata om "a trail of shit"...

1) RAÄ borde informerat var den nya platsen för identifieraren är inte bara skicka 404 2) RAÄ borde ha implementerat observer pattern så aktörer som Wikidata kan fånga upp detta innan vi får problem 1) den som lägger till nya egenskapen i Wikidata borde ta bort den gamla eller i Wikidatas fall ange skäl Q122746164 både på svenska och engelska se ex. Q28967664#P1260 - svenska / engelska 1) se #4 "Best practice: Support depreciated and reason for deprecated rank"

image image

Observer pattern

En snygg implementering av Observer pattern vore att även i löst kopplade system kan saker som citation graphs skapas....

image

dvs. att en SFS som Riksdagen har skulle kunna ha koll på vilka myndighetsförfattningar som refererar den, att utredningar som refereras kan am med ett klick kunna se vilka som refererar till den se #100 #85 status idag är att ex. Esamverkan publicerar dokument som refererar myndigheter som upphört och ligger i en kartong hos Riksarkivet dvs. det saknas helt vettig dokumenthantering vilket jag ser som en brist i vår demokrati och att Sveriges Riksdag inte har 5-star data

Fixat av RAÄ 6 september 2021 - tid 1 år

F.k. : fr.o.m. igår 2021-09-06 ska 10 537 BeBR-poster som var tillfälligt borttagna ur K-samsök (svarade med 410) vara tillbaka i indexet. De beständiga kulturarvsdata.se-URI:erna svarar igen antingen med 200 + RDF/XML / JSON-LD, eller 302 + ompekning till källan (posten hos Bebyggelseregistret) beroende på anropets Accept-headers

image

image

Behovet av best practices är stort för att styra icke digitala organisationer att fungera i ett ekosystem med persistenta identfierare