salgo60 / Wikidata_riksdagen-corpus

repository for matching Wikidata with riksdagen-corpus
MIT License
12 stars 1 forks source link

Familia - Umeå universitet lanserar nytt verktyg för släktforskning #144

Open salgo60 opened 1 year ago

salgo60 commented 1 year ago

Svar Familia som känns udda att man inte förstår Länkade data


Kontakta gärna mig om ni har frågor salgo60@msn.com eller 0735152802

Frågor nedan skickade till projektets web sida...

Kan vi koppla in det på Riksdagsmän/Wikidata/riksdagen-corpus, vi måste undvika att skapa silos och att skapa digitala #kultursilos genom att skicka runt strings not things som Europeana gjort i 10 år se min analys 2019 "2019 Carl Larsson who is that - sadly Europeana doesnt know --> #Metadatadebt" idag har Europeana enorma problem med ett ML projekt "Saint George on a Bike" eftersom det är massa textsträngar ofta ens utan språkkod se Metadata Quality Assurance Framework for Europeana

  1. verkar som projektet använder kyrkboksreferenser - har dom API finns dom på GITHUB

    1. Kyrkboks referenser för Svenska Riksdagsmän i Wikidata
    2. Kyrkboks referenser eller Riksarkivets Folkräkningar (Sveriges befolkning) för folk begravda på Norra Begravningsplatsen i Wikidata)%20.%20%20%0A%20%20%20%3Fproperty%20wikibase%3Aclaim%20%3Fprop%20.%0A%0A%20%20%20OPTIONAL{%20%3Fperson%20wdt%3AP18%20%3Fpic%20.}%20%09%09%09%09%09%23%20If%20we%20have%20an%20illustration%0A%20%20%20OPTIONAL{%20%3Fperson%20wdt%3AP1442%20%3FpicGrave%20.}%20%09%09%09%23%20If%20we%20have%20a%20picture%20of%20the%20grave%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Fsok.riksarkivet.se%2Fsbl%2FPresentation.aspx%3Fid%3D%22%2C%3FSBLID))%20AS%20%3FSBL)%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Fwww.skbl.se%2Fsv%2Fartikel%2F%22%2C%3FSKBLID))%20AS%20%3FSKBL)%0A%20%20%20OPTIONAL%20{%0A%20%20%20%20%20%20%3Farticle%20schema%3Aabout%20%3Fperson%20.%0A%20%20%20%20%20%20%3Farticle%20schema%3AinLanguage%20%22sv%22%20.%0A%20%20%20%20%20%20%3Farticle%20schema%3AisPartOf%20%3Chttps%3A%2F%2Fsv.wikipedia.org%2F%3E%20.%0A%20%20%20%20}%0A%0A}%20%20%20%0A%20%20SERVICE%20wikibase%3Alabel%20{%20bd%3AserviceParam%20wikibase%3Alanguage%20%22sv%22%2C%22en%22}%0A%20}%0AOrder%20by%20%3FpersonLabel) eller med parti kopplat%20%3D%20%22sv%22)%7D%0A%20%20%20OPTIONAL%20%7B%3Fperson%20wdt%3AP2168%20%3Ffilmpersonid%7D%20%23Person%20id%0A%0A%20%20%20OPTIONAL%20%7B%3Fperson%20wdt%3AP5147%20%3FTransID%7D%20.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20%C3%96vers%C3%A4ttare%20%0A%20%20%20OPTIONAL%20%7B%3Fperson%20wdt%3AP4819%20%3FSPAID%7D%20.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%09%23%20Svenskt%20Portr%C3%A4ttarkiv%20%0A%20%20%20OPTIONAL%20%7B%3Fperson%20wdt%3AP2600%20%3FGENIID%7D%20.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20GENI%20%0A%20%20%20OPTIONAL%20%7B%3Fperson%20wdt%3AP4963%20%3FSKBLID%7D%20.%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%09%09%20%20%20%0A%20%20%20BIND%20(URI(CONCAT(%22http%3A%2F%2Fwww.svenskfilmdatabas.se%2Fsv%2Fitem%2F%3Ftype%3Dperson%26itemid%3D%22%2C%3Ffilmpersonid))%20AS%20%3FSvenskfilmperson)%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Flitteraturbanken.se%2F%25C3%25B6vers%25C3%25A4ttarlexikon%2Fartiklar%2F%22%2C%3FTransID))%20AS%20%3FTranslator)%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Flitteraturbanken.se%2Fforfattare%2F%22%2C%3FLittID))%20AS%20%3FLitt)%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Fwww.skbl.se%2Fsv%2Fartikel%2F%22%2C%3FSKBLID))%20AS%20%3FSKBL)%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Fxn--portrttarkiv-kcb.se%2Fdetails%2F%22%2C%3FSPAID))%20AS%20%3FSPA)%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Fwww.geni.com%2Fpeople%2F%22%2C%3FGENIID))%20AS%20%3FGENI)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%0A%20%20%20OPTIONAL%20%7B%20%3Fperson%20wdt%3AP2600%20%3FGeniID%20.%7D%20%09%09%09%23%20Geni%0A%20%20%20OPTIONAL%20%7B%3Fperson%20wdt%3AP569%20%3Fbirthdate%7D%20%0A%20%20%20OPTIONAL%7B%20%3Fperson%20wdt%3AP18%20%3Fpic%20.%7D%20%09%09%09%09%09%23%20If%20we%20have%20an%20illustration%0A%20%20%20OPTIONAL%7B%20%3Fperson%20wdt%3AP1442%20%3FpicGrave%20.%7D%20%09%09%09%23%20If%20we%20have%20a%20picture%20of%20the%20grave%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Fsok.riksarkivet.se%2Fsbl%2FPresentation.aspx%3Fid%3D%22%2C%3FSBLID))%20AS%20%3FSBL)%0A%20%20%20BIND%20(URI(CONCAT(%22https%3A%2F%2Fwww.skbl.se%2Fsv%2Fartikel%2F%22%2C%3FSKBLID))%20AS%20%3FSKBL)%0A%20%20%20OPTIONAL%20%7B%0A%20%20%20%20%20%20%3Farticle%20schema%3Aabout%20%3Fperson%20.%0A%20%20%20%20%20%20%3Farticle%20schema%3AinLanguage%20%22sv%22%20.%0A%20%20%20%20%20%20%3Farticle%20schema%3AisPartOf%20%3Chttps%3A%2F%2Fsv.wikipedia.org%2F%3E%20.%0A%20%20%20%20%7D%0A%20%20%20OPTIONAL%20%7B%0A%20%20%20%20%20%20%3Farticle%20schema%3Aabout%20%3Fperson%20.%0A%20%20%20%20%20%20%3Farticle%20schema%3AinLanguage%20%22en%22%20.%0A%20%20%20%20%20%20%3Farticle%20schema%3AisPartOf%20%3Chttps%3A%2F%2Fsv.wikipedia.org%2F%3E%20.%0A%20%20%20%20%7D%0A%0A%20%20%20OPTIONAL%20%7B%20%3Fperson%20wdt%3AP106%20%3Fgroup%20.%7D%20%09%09%09%23%20Occupation%20in%20Layer%0A%0A%7D%20%20%20%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22sv%22%2C%22en%22%7D%0A%20%7D%0AOrder%20by%20%3Flayer) till sig video "NorraBegravningsplatsen filtrerade efter Riksdagspartier enligt wikidata"
    image
  2. Har dom SPARQL - önskan Riksdagens data #62 - önskan Riksarkivet NAD dödsböcker

    1. Se Svenska Riksdagsmän i WIkidata
    2. Se hur vi har bilderna på Wikicommons med Wikibase och kan göra SPARQL federation och hitta alla bilder som avbildar en person som enligt Wikidata satt i svenska Riksdagen #133 3-1. mer om hur bilder kopplas se #117 och hur vi jobbar med Svenskt Porträttarkiv och deras API
  3. Beskriver ni ert data jmf Wikidata ShEx #129 fråga Riksarkivet #16

    1. se lista egenskaper som används i Wikidata för Svenska PM
  4. Har varje rad i en kyrkbok en persistent identifierare jmf Föreningen Släktdata som har det dvs. något vi kan ha i Wikidata som en referens till er post / bildläsare...

    1. jobbar ni ihop med Föreningen Släktdata - mina vaga tankar
    2. Har ni 5-star data dvs. persistenta identifierare och samma som för de släktböcker/yrken/personer/platser/dödsorsaker/namn... ni jobbat med
      1. Riksarkivet lösning idag med kyrkböcker känns som en liten svajig lösning där URL:en innehåller zoom (känns fel se när dom ändrade sitt URL schema 2018 och sedan aldrig fixade det)
      2. min vision var att använda deras IIIF server och skicka upp en sida med ett lager som var transkriberingen i WIkidata - SPARQL med citat se exempel Alfred Nobel nedan
      3. jag var i veckan på Open Science i Stockholm och pratade kort med Michael Arentoft Head of Unit, Open Science, DG R&I, European Commission - att vi måste ta steget till gemensamma kunskapsgrafer han pekade på graph.openaire.eu. Fråga hur lagrar ni erat data idag? Planer/kunskaper om KG? - dialog med chatGPT vad som behövs tycker mig se att kulturarvet halkar efter och blir bara #kultursilos ex. dialogen i veckan med ISOF och > 1 års "dialog" med Digitaltmuseum -> min slutsats
    3. det borde finnas samma som Wikidata och vice versa se hur Nobelprize.org / Litteraturbanken jobbar
    4. Försök att diskutera "samma som" med Riksdagen 2019 se även min skuggbacklog men dom verkar inte vara agila
  5. Kopplas datat till NAD jmf #104

    1. idag känns det som Riksarkivets data är enormt trasigt och dom inte jobbar med deras datakvalitet #30
  6. Beskriver dom i metadata dödsorsak? Om ja isåfall hur se aktivitet med Svenska Riksdagsmän #128

  7. Hur hanteras namn? Finns objekt med persistenta identifierare för namn jmf #142

    1. andra uppgifter som inkomst etc.? se #103
    2. jag försökte i veckan dra med ISOF i detta med namn men den kille Daniel jag kontakta kände inte att dom har rätt kompetenser länk se svar nedan ... jag har tidigare sprungit runt hos ISOF 2019 om att koppla dialekter, namn etc utan resultat så ni får gärna driva detta 😺 min erfarenhet är att det är bortkastad tid att prata med organisationer med fel laguppställning se > 40 försök att få kommuner ge oss öppen data om badplatser / utegym - enklare data finns inte se mitt antipattern på en projektkyrkogård jag skapat #77-3 Antipattern: inget data levereras

Hej igen! Tack för infon och förslagen. Vi har nu diskuterat detta på vårt avdelningsmöte och vi har kommit fram till att vi inte har den tekniska kompetens och den tid som krävs för att göra detta. Det bästa är att du kontaktar får administrativa avdelning Avdelningen för stöd och utveckling: Daniel Solling

  1. Yrken finns det som strukturerat data se översikt av historisk yrken i några databaser / brev skickat 2021 om att detta borde styras upp ingen reaktion dock
    • fråga SWEPOP om att förbättra detta se #8
  2. Hur kvalitetssäkrar ni ert data? jmf welfare-state-analytics/riksdagen-corpus MP quality control #278 / Wikidata Entity Schema #129 / WIkidata Constraints checks på Alfred Nobel Special:ConstraintReport/Q23810 mer om "constraints" på Wikidata
image
  1. har ni ett ändrings API ? jmf Wikidata Recent Changes stream API som har hög ändringsfrekvens changestream, ljud - Listen to WIkipedia, iphone app, jordglob

image

image

  1. Planerar ni att stödja DNA? Wikidata har lite stöd i DNA med egenskaperna Y-DNA Haplogroup - Property:P4426 mtDNA haplogroup - Property:P4425

    13-1. jag tror att den del i ekvationen med DNA genealogi som är ostrukturerad är "traditionell släktforskning" där det idag saknas enkelhet att jämföra om 2 släktträd "delar släktböcker", om 2 individer finns i samma böcker etc... borde vara en kandidater för släktskap om släktträden också har några individer som enligt DNA provet har nära släktskap.... genom att dela upp kyrkboksreferensen i tydliga delar och ha en standard med persistenta identifierare så borde det bli en bra "ML feature" som kan användas att hitta potentiella kandidater till "släktskap" se min blogpost om "SILOS -> Kunskapsdatabaser för släktforskning ett hjälpmedel för att matcha DNA segment med person" . De olika delar jag delar upp kyrkboksreferensen i är idag

    • "anges i" Property:P248
    • "referens-url" Property:P854
    • "Nationell Arkivdatabas Referenskod" Property:P5324
    • ger en ingång till att hitta vilken församling den tillhör och där kan vi hämta ut en koordinaten se min aktivitet 2018 med Arkiv DIgital sss
    • "sida" Property:P304
    • ....
image

image

  1. Rekommenderar att skapa persistenta identifierare och bli en egenskap på Wikidata --> se hur chrome extension Entity Explosion --> knyter ihop vårt kulturarv se video "EntityExplosion fattigmans länkade data" / "Litteraturbanken Wikidata:Entity Explosion" / Entity Explosion SKBL Wikidata
image

14-1 Bättre vore om forskarvärlden skapade sitt eget ekosystem med exempelvis Wikibase som är en gratis tom Wikidata - Wikibase finns nu även som en cloud lösning se www.wikibase.cloud exempel hur jag skapat en Wikibase instans och gör SPARQL federation med WIkidata för alla Sveriges kommuner länk fråga / min kommun sida

image

15 hur jobbar ni med andra aktörer? Skall ett ekosystem fungera så måste det finnas processer för detta... idag ser jag exempelvis att det ofta inte finns någon på andra sidan luren se mina försök med Riksarkivet min tro att alla aktörer måste ha en tydlig process för att beskriva krav som andra aktörer har på det data man levererar se

Vad behövs för att två skall dansa tango?

Min bakgrund är internationella banktransaktioner där allt loggas och det är en själblarhet att 2 banker skall kunna flytta metadata mellan varandra - se SWIFT och de meddelanden som finns ex. MT 101, MT 104, MT 321, MT 941,

Jag har jobbat med it sedan 1985 min cv och konsultat inom Läkemedelsindustrin Novo Nordisk, Läkemedelsverket, Militär industrin Saab Military, Förlag som Forlagscentralen och OCLC i Ohio och jag har nog aldrig sett ett så trasigt ekosystem som Riksarkivet / Riksarkivet SBL / Europeana / Kungliga Biblioteket / RAÄ / Digitaltmuseum .... känns även 2023 som intresse inte finns hos dessa aktörer att skapa bra data se #15 #33

Jag skapade en lista 2020 The Magnus list med alla galenskap jag ser och vad som måste finnas ljuset i tunneln är welfare-state-analytics/riksdagen-corpus

image
salgo60 commented 1 year ago

Hämta ut svenska kyrkboksreferenser med SPARQL från Wikidata

#title: Swedish PM with churchbooks ref
SELECT DISTINCT ?person ?personLabel ?bookLabel ?title ?NAD ?page ?url WHERE {
  VALUES ?member {
    wd:Q33071890 # Member of the First Chamber
    wd:Q81531912 # Member of the Second Chamber
    wd:Q82697153 # Member of the Riksdag of the Estates
    wd:Q10655178  # member of the Swedish Riksdag
  }

  ?book wdt:P361 wd:Q64166606. # part of church archive

  ?person wdt:P39 ?member.
  ?person p:P570 ?statement. #all props
  ?statement prov:wasDerivedFrom ?ref.
  ?ref pr:P248 ?book
  OPTIONAL {?ref pr:P854 ?url} 
  OPTIONAL {?ref pr:P1476 ?title} 
  OPTIONAL {?ref pr:P5324 ?NAD} 
  OPTIONAL {?ref pr:P304 ?page} 

  SERVICE wikibase:label { bd:serviceParam wikibase:language "sv,en,de". }
}

ORDER BY DESC (?personLabel)
image
salgo60 commented 1 year ago
image
salgo60 commented 1 year ago

Hur jag testat med att transkribera del av kyrkbok Q23810#P569 tanken var att förstå hur Riksarkivets IIIF server fungera och lägga denna transkribering i ett eget lager.... gärna support för flera språk

image image image
image image
salgo60 commented 1 year ago
image
salgo60 commented 1 year ago
image
salgo60 commented 1 year ago

Tackar för svar men känns inte särskilt digitalt mogna, kan vi inte koppla ihop dom Sveriges Riksdagsmän som finns i detta projekt med WIkidata?

Se hur Humlab nu levererar som är ett forskningsprojekt och som borde kunna koppla sig till andra forskningsprojekt om ni gjorde rätt leveranser....

Samma borde vara naturligt

image image

Riksarkivet skapar datasilos 2023 - Wikidata skapar kopplingar mellan SILOS

Wikidata har skapat Scholia som är just en "arkiverad PID graph" för många objekt

image


Observera att ex. Anna Lindhs kopplingar har skapats i Wikidata dvs. metadata om Riksdagens dokument etc. finns i Wikidata där Wikidata många ggr har bättre metadata än Riksdagens Öppna data som idag 2023 inte ens verkar kunna hantera fel dom gör som #88 skapar samma person flera ggr... eller skapa #76 helpdesk nummer - mer om Riksdagens Öppna data problem

image

image image