search

perrohdin / Bildhistoria-Masterdata-och-Wikidata

Repository för skolor
2 stars 0 forks source link

SPARQL container #10

Closed salgo60 closed 10 months ago

salgo60 commented 10 months ago
image image

Exempel där SPA är inblandade

salgo60 commented 10 months ago
perrohdin commented 10 months ago

Magnus, tack för att du vill hjälpa oss. Jag skulle vilja ha hjälp med följande 2 saker

bild

UPPGIFT 2: WIKI-KOPPLING TILL BILDHISTORIAS ORGANISATIONER. Jag har en lista på ca 15 000 aktiva och historiska Företag, Idrottföreningar, Scoutkårer, Myndigheter, Frikyrkor, Fackföreningar. Listan består av namnet i fritext och i vissa fall året när den bildades och upplöstes. Majoriteten består av företagen i RAs lista på aktiebolag 1901-1935 (https://riksarkivet.se/psidata/aktiebolag). Jag skulle vilja skicka in en lista med följande kolumner:

Vi kan använda oss av följande lista: https://portrattarkiv.sharepoint.com/:x:/s/Bildhistoriaarbetsfiler/ERCZ7YxT4TxMomQgzHnN_scBWFAnTEFPyL8KhPB46HBu8g?e=a1Uv4z

Baserat på ovanstående skulle jag vilja få reda på om organisationen finns i Wikidata eller Wikipedia, enligt följande kolumner:

salgo60 commented 10 months ago

@perrohdin känns bäst om vi pratar. Detta är inte SparQL funktioner du vill ha, vilka programmerings kunskaper har ni?

image

Fråga 1: Hur ser bildhistorias datamodell ut.... är den dynamisk så ni kan lägga till nya egenskaper/fält

SVAR Uppgift 2: det är bara att ladda upp listan på denna GITHUB Issues

Det är troligen ett jättejobb

  1. Riksarkivets data är enormt grisigt se min Riksarkivet skuggbacklog och dom saknar egen backlog och rättar sällan det man skickar in
  2. För att göra detta som jag kallar reconciliation använder jag verktyg som Open Refine och du måste säkert skapa nya Wikidata objekt
  3. Finns hos NAD ett nytt GUID som vi har i Wikidata men inte mycket använt i WD och Riksarkivet har som sahr dålig data... finns ett TORA projekt som var bra men tror det dött = WD Property:P4820 3-1. gamla NAD id Property:P5324 - exempel P5324 3-2. nya NAD id = Property:P9713 - exempel P9713
perrohdin commented 10 months ago

Uppgift 1: P131 kommer att vara den vanligaste tror jag så vi kan ju börja med den. Kan du skapa en SPARQL där jag kan skicka upp en lång lista på skolornas Q-nummer?

Uppgift2: Vi skall inte skapa nya Wikidata-objekt. Vi skall bara kartlägga vad som redan finns i Wikidata/Wikipedia med hjälp av organisationsnamnet.

Vi kan prata under dagen. Kanske bäst vi delar skärm. Kan Google Meets passa? Jag finns tillgänglig.

salgo60 commented 10 months ago

Kan du skapa en SPARQL där jag kan skicka upp en lång lista på skolornas Q-nummer?

1) enklare om du loppar runt er lista och använder URL och hämtar json namnet som jag visar ovan då kan ni göra det från alla programmeringsspråk

image

2) SPARQL - kod - resultat se video

image
salgo60 commented 10 months ago

Vi kan prata under dagen. Kanske bäst vi delar skärm. Kan Google Meets passa? Jag finns tillgänglig.

Jag är borta under dagen annars funkar 0735152802 eller dela skärm på https://meet.jit.si/Wikidata-SV

vill du snacka Wikidata med flera har du idag 14:00 träff med svenskar dom kör https://meet.jit.si/Wikidata-SV

det är bara hoppa med ofta är det några entusiastiska Wikidata entusiaster… tyvärr räknas inte Wikimedia Sverige in i den samlingen…

image

perrohdin commented 10 months ago

Om du är borta idag, vilken tid kan passa imorgon att dela skärm? Jag är tillgänglig hela förmiddagen och på eftermiddagen fram till kl 15.

salgo60 commented 10 months ago

Jag kan nog när som helst efter 9:00 men prata gärna med andra 14:00 idag och förklara dina tankar idéer kanske kan du få någon att starta med koppla ”samma som” Riksarkivet <-> Wikidata eller om dom lär er använda Open Refine

TODO

1) ladda upp den Riksarkiv fil du har så kan vi se om den har NAD identifierare - är bara att bifoga din kommentar

2) testa dom 2 lösningar jag visar ovan om dom funkar så är uppgift 1 löst

salgo60 commented 10 months ago

Kolla in diskussionen kring identifierare och tombstone sidor så ni designar er app på ett bra sätt

perrohdin commented 10 months ago

Uppgift1: Ser bra ut! Snabbt jobbat! Jag laddade upp en lista på ca 200 Q-nummer enligt nedanstående bild men fick bara 34 träffar. Vad betyder det? Är det sökningen som fastnar eller visas bara de rader som får en träff?

bild

bild

salgo60 commented 10 months ago

@perrohdin

Property:P131 = inom det administrativa området

se även Property:P3842 = inom nuvarande administrativt område

image image image image image

Exempel csv fil WD skolor Sverige med P131.csv

den ser ut enl. nedan och där P131 ligger i sista kolumnen som jag kalla layer (för att kunna visa upp den som filter i kartan)

item,itemLabel,admin,adminLabel,coord,bild,adminP131,layer
http://www.wikidata.org/entity/Q167920,Kungliga Akademien för de fria konsterna,,,Point(18.064419 59.328672),http://commons.wikimedia.org/wiki/Special:FilePath/Konstakademien%20Stockholm.jpg,,
http://www.wikidata.org/entity/Q1064735,Handelshögskolan vid Göteborgs universitet,,,Point(11.961111111 57.697222222),,,
http://www.wikidata.org/entity/Q1541450,Kungliga Musikaliska Akademien,,,Point(18.075819 59.33065),http://commons.wikimedia.org/wiki/Special:FilePath/KMA%20hus.fr%20Nybroviken.jpg,,
http://www.wikidata.org/entity/Q1792159,Kungliga Vitterhetsakademien,,,Point(18.0725 59.341667),http://commons.wikimedia.org/wiki/Special:FilePath/Villagatan%203%2C%20Stockholm.JPG,,

Skolenhetskod - SCB länkröta

image image

SKALL detta fungera skall man ha

salgo60 commented 10 months ago

Wikidata cache

det vi gör med Wikipedia och wikicommons är att cacha data som hämtas från Wikidata som sedan kan hämtas igen se video dvs, ändras datat i wikidata så slär det igenom då cachen uppdateras

salgo60 commented 10 months ago

@perrohdin

756 matchade

Exempel där kolumn 4:a har wkidata nummer

GUID_Bildhistoria,MainName,Lsv,Wikidata,OrganisationType,FoundedDate,DissolvedDate,PlaceOfBusiness1_Name_FullName,PlaceOfBusiness2_Name_FullName,PlaceOfBusiness3_Name_FullName,Source1_Name,SourceId1,SourceText1,SourceId2,SourceText2,SourceId3,SourceText3,WikiData,WikipediaSE,WikipediaEN,DigitaltMuseum,Riksarkivet
f5c2f591-2ab6-4414-9fdf-2fa798af5f5b,Lokala säkerhetsnämnden vid Forsmark,Lokala säkerhetsnämnden vid Forsmark,Q80207112,Offentlig Förvaltning,1981,,"Östhammar, Östhammar, Uppsala län",,,Wikipedia,f5bf0de9-dc69-47d3-82da-0a359e9d7a40,,,,,,,,,,
8187b431-67f7-4f46-b667-e49503441898,Clarion Hotel Grand Östersund,,Q111410023,Företag,1935,,"Östersund, Östersund, Jämtlands län",,,Riksarkivet Aktiebolag 1901-1935,81fc68d8-418f-4206-b132-b7491a0dc1d4,8902,,,,,,,,,
00e21ffc-a853-4fa7-8bef-426115136840,Länsstyrelsen i Jämtlands län,Länsstyrelsen i Jämtlands län,Q28797491,Offentlig Förvaltning,1810,,"Östersund, Östersund, Jämtlands län",,,Wikipedia,f5bf0de9-dc69-47d3-82da-0a359e9d7a40,,,,,,,,,,
482b53dd-1089-412b-acd6-8ababbcd34f4,Myndigheten för tillväxtpolitiska utvärderingar och analyser,Myndigheten för tillväxtpolitiska utvärderingar och analyser,Q10591753,Offentlig Förvaltning,2009,,"Östersund, Östersund, Jämtlands län",,,Wikipedia,f5bf0de9-dc69-47d3-82da-0a359e9d7a40,,,,,,,,,,

ORGANISATIONER-wiki-Dec2023-xlsx.csv

perrohdin commented 10 months ago

Grymt! Jag hade förväntat mig fler men det här är fantastiskt. Via ChatGPT, lyckades jag sedan köra en query som hittade matchande Wikipedia sidor på svenska och engelska. Tack igen!

salgo60 commented 10 months ago

Det är mycket "gegga" som scoutkårer och det är lite för lite bra info hos Riksarkivet

  1. jag körde Open Refine automatch
image

  1. sedan gick igenom 800 stycken för hand och kolla när flera alternativ var föreslagna

  2. tar du exempel Torpshamra så finns det massa Torpshamra i Wikidata men ofta är det orter, museer som gar artikel....

image
  1. att modulera organisationer över tid dvs. koncern / vilka namn byten som sker och vilka som köps upp kan vara svårt och tror wikipedia folk mer leker med influencers och adel gubbar....

Lesson learned

att koppla "samma som" är även för enkla saker som personer/bolag kostsamt. DIGG tittar nu lite på detta men jag känner inte att dom tar höjd för att verkligen koppla ihop eftersom mitt förslag att skapa ett ekosystem avslogs som utanför projektets scope...

salgo60 commented 10 months ago

@perrohdin Du visade mig aldrig er datamodell men att ha organisationsnummer kan vara en ide även Riksarkivet NAD har ett agent id i wikidata (är nog mest jag som sätter den)...

bifogar fil med dessa värden för listan ovan

ORGANISATIONER-wiki-Dec2023 orgnr NADagent.csv

exempel

GUID_Bildhistoria,MainName,Nationell arkivdatabas agent-id,organisationsnummer (Sverige),Lsv,Wikidata
f5c2f591-2ab6-4414-9fdf-2fa798af5f5b,Lokala säkerhetsnämnden vid Forsmark,,202100-6735,Lokala säkerhetsnämnden vid Forsmark,Q80207112
8187b431-67f7-4f46-b667-e49503441898,Clarion Hotel Grand Östersund,,,,Q111410023
00e21ffc-a853-4fa7-8bef-426115136840,Länsstyrelsen i Jämtlands län,,202100-2452,Länsstyrelsen i Jämtlands län,Q28797491
482b53dd-1089-412b-acd6-8ababbcd34f4,Myndigheten för tillväxtpolitiska utvärderingar och analyser,,202100-6164,Myndigheten för tillväxtpolitiska utvärderingar och analyser,Q10591753
image image
perrohdin commented 10 months ago

Jag kikar just nu på https://openrefine.org/docs/manual/reconciling - och försöker köra Reconciling på våra Organisationer, Platser, Källor och Personer. Tack för tipset!

salgo60 commented 10 months ago

@perrohdin skrik till om vi skall dela skärm några minuter det är ett kraftfullt verktyg men inte helt lätt jag drar 15:00 på julbord till Sthlm Fisk

salgo60 commented 10 months ago

SPA har en begränsning på att man kan bara hämta 10 000 poster i api.et men vi har tagit ned det vi kunnat så det finns i en speciell katalog innan wikidata som heter mix-and-match

image image image image image image
salgo60 commented 10 months ago

Ortsnamn Isof

FYI; @perrohdin

@dpriskorn frågade - ISOF om vilka som använ der deras ortsnamns data och fick en maskad lista vilka som frågar.... kanske kan ge dig ledtrådar vilka som har lite action

ÖD4.pdf

edit verkar vara bara Dennis... som skriver under uppenbar pseudonym...