search

salgo60 / NOSAD-POC-Wikidata

POC Nosad koppling WD
https://salgo60.github.io/NOSAD/
3 stars 0 forks source link

Scholia som exempel på funktionalitet #10

Open gjonor opened 2 years ago

gjonor commented 2 years ago

Scholia verkar vara ett intressant projekt att använda som förebild. Finns det kanske verktyg i det projektet som kan återanvändas?

Scholia Öppna data borde kunna översättas till allt som kommuner / myndigheter producerar

  • senaste publicerat av kommuner/ myndigheter inom ett visst område... senaste publicerat
  • Hur mycket myndigheterna /kommunerna har skrivit inom det här området senaste åren publicerat per år
  • Vilka myndigheter/kommuner har skrivit något inom det området vem har skrivit
  • Skapa citations graph att man har metadata vilka rapporter som citerar andra rapporter/författningar --> ger kanske ett mått på vad som är viktigast citeringar
  • Konferanser Workshops då man pratat om detta ämne eller hålla koll på vilka från olika myndigheter som går på event,... Events

Originally posted by @salgo60 in https://github.com/salgo60/NOSAD-POC-Wikidata/issues/9#issuecomment-1264325875

salgo60 commented 2 years ago

Det är bara SPARQL(exempel) mot Wikidata... dock ett galet jobba att matcha saker... wikibase kan användas och snart kommer nog en gratis variant wikibase.cloud där WIkimedia Tyskland tror jag hostar den...

video

gjonor commented 2 years ago

Ok, då börjar kanske processen i #8 hänga ihop lite tydligare.

CSV -> Import: OpenRefine? -> KG: Wikibase -> API: SPARQL -> Presentation: web site, e.g. Scholia

Alt. skapa RSS-flöden och sådant för konsumtion. Gör man det direkt från Wikibase eller via SPARQL query API?

Om jag vill provköra första steget för övnings skull, lämpligen i wikibase cloud eller egen WB instans?

salgo60 commented 2 years ago

1) det stora steget är att fundera över ämnesord är min tro... 1-1) @Ainali @SchermanJ gör det för motioner och där har man inget kontrollerad vokabulär på gott och ont 1-2) @dpriskorn Dennis har skapat ett verktyg som mass uppladdar ämnesord se dpriskorn/ItemSubjector

Open refine.... för Wikidata är det bara att köra....

Min tro är att man skall testa lite olika vägar.... känns som NOSAD är det enda vettiga projektet i denna röra så det kanske är där det går att ha en dialog.... vet inte om dom har något genomslag

gjonor commented 2 years ago

Ok, från mitt perspektiv ser det ut att vara ett primärt problem att de flesta förstår vad en CSV-fil eller en webbsida är men väldigt få vet vad en kunskapsgraf är och hur processen ser ut att gå från det ena till det andra. Man står som sagt och stampar i en rundgång med PDF-filer, webbdesign där man flyttar runt sidor och namnändrar i URL:er, och ett och annat kalkylark i Excel utan användbara identifierare för informationsposter. Tror det handlar om en allmän brist på förståelse/erfarenhet av hur databaser och kopplingar fungerar. Office-paketen innehåller programvara för ordbehandling, presentation, kalkylark och databas, men det är bara de tre förstnämnda som används. Kanske vi får se en grafdatabas dyka upp i office-tjänsterna i en framtid och ta plats jämte eller framför Excel, men det tar väl några år.

Vet inte om jag tänker fel, men jag skulle gärna vilja ha tillgång till någon form av "sandlåda" för att lära mig funktionaliteten. Det känns lite konstigt att skicka in låtsas-data till Wikidata för att se vad som händer i studiesyfte utan att veta riktigt vad jag gör, och jag känner inte att jag förstår vad som händer när jag trycker på export-knappar i OpenRefine. Funderar över hur en testplattform eller process kan se ut. Att sätta upp en lokal graf-databas förefaller ganska tekniskt avancerat, åtminstone när det gäller Wikibase. Wikibase.cloud är inte allmänt tillgängligt i dagsläget. Har Wikidata kanske något motsvarande sandlådan på Wikipedia?

salgo60 commented 2 years ago

Det finns hur mycket data som heist att leka med som platsar på Wikidata

Annars är det nog bara att registrera ett konto på "min" Wikibase.cloud instans sweopen...

Jag var i Visby på Almedalsveckan och ställde frågan till Digg Anna om kunskapsgrafer och hon förstod inte frågan... bara det att inte säga det där vet jag inget om utan bara babbla på är för mig early warning...

Det finns massa utmaningar

Känns inte bra att DIGG mer blivit diskussionsgruppsadministratörer och DIGG Anna presenterade i Almedalen ingen vision mer än att man skall bli fler och fler vill ha DIGG med på sina möten....

Även om man hoppar på KG så är det nog en tuff resa... jag la upp en artikel från Über och där fick jag känslan att deras väg in i KG inte varit spikrak....

salgo60 commented 2 years ago

@gjonor aktivera EasyQuery så kan du enkelt i Wikidata skapa grafer vilket ger lite mer en känsla av möjligheterna se https://github.com/salgo60/SkansenWikidata/issues/9

dpriskorn commented 2 years ago

Ok, från mitt perspektiv ser det ut att vara ett primärt problem att de flesta förstår vad en CSV-fil eller en webbsida är men väldigt få vet vad en kunskapsgraf är och hur processen ser ut att gå från det ena till det andra. Man står som sagt och stampar i en rundgång med PDF-filer, webbdesign där man flyttar runt sidor och namnändrar i URL:er, och ett och annat kalkylark i Excel utan användbara identifierare för informationsposter. Tror det handlar om en allmän brist på förståelse/erfarenhet av hur databaser och kopplingar fungerar. Office-paketen innehåller programvara för ordbehandling, presentation, kalkylark och databas, men det är bara de tre förstnämnda som används. Kanske vi får se en grafdatabas dyka upp i office-tjänsterna i en framtid och ta plats jämte eller framför Excel, men det tar väl några år.

Vet inte om jag tänker fel, men jag skulle gärna vilja ha tillgång till någon form av "sandlåda" för att lära mig funktionaliteten. Det känns lite konstigt att skicka in låtsas-data till Wikidata för att se vad som händer i studiesyfte utan att veta riktigt vad jag gör, och jag känner inte att jag förstår vad som händer när jag trycker på export-knappar i OpenRefine. Funderar över hur en testplattform eller process kan se ut. Att sätta upp en lokal graf-databas förefaller ganska tekniskt avancerat, åtminstone när det gäller Wikibase. Wikibase.cloud är inte allmänt tillgängligt i dagsläget. Har Wikidata kanske något motsvarande sandlådan på Wikipedia?

Kul att du är intresserad 😀 Har du telegram? Där händer mycket av kommunikationen som pågår mellan de olika frivilliga och man får snabbt svar på frågor som din ovan om sandlåda. Se https://meta.m.wikimedia.org/wiki/Telegram#Wikidata

Jag började modellera de största svenska IT fiaskon och anti-pattern för ett tag sen på Magnus' sweopendata Wikibase.

Jag jobbar en del med vandringsleder och lägerplatser. Vad intresserar dig?

dpriskorn commented 2 years ago

Ok, från mitt perspektiv ser det ut att vara ett primärt problem att de flesta förstår vad en CSV-fil eller en webbsida är men väldigt få vet vad en kunskapsgraf är och hur processen ser ut att gå från det ena till det andra. Man står som sagt och stampar i en rundgång med PDF-filer, webbdesign där man flyttar runt sidor och namnändrar i URL:er, och ett och annat kalkylark i Excel utan användbara identifierare för informationsposter. Tror det handlar om en allmän brist på förståelse/erfarenhet av hur databaser och kopplingar fungerar. Office-paketen innehåller programvara för ordbehandling, presentation, kalkylark och databas, men det är bara de tre förstnämnda som används. Kanske vi får se en grafdatabas dyka upp i office-tjänsterna i en framtid och ta plats jämte eller framför Excel, men det tar väl några år.

Den här analysen passar bra ihop med mina erfarenheter. Det tog mig ett tag att komma in i tänket med grafer. Jag kommer ihåg att jag inte begrep skillnaden mellan att något är en instans och att något är en underklass till annat. Tex. min bilmodell 320i är en underklass till BMW bilmodell. Själva bilen är en instans av 320i och unik med ramnummer och färg och har en historik med olika ägare.

Liknande är vandringsleden grottstigen i Smitingen-Härnöklubb en instans av vandringsled. Den har även kvaliteten att ligga i ett specifik svenskt naturreservat. Tyvärr är det inga på myndigheterna som vill göra jobbet och beskriva alla leder i alla reservat som unika instanser. De ritar in dem i en databas bara och bryr sig inte om att beskriva den där med god metadata som en led med namn och identifierare och länka till reservatet den är i. De informerar inte heller för varje led eller reservat om när underhåll utförts eller när leden tillkom. På så vis bliver det nästintill omöjligt att hålla ordning på alla olika geodata för oss frivilliga. Ibland hittar vi skyltade leder som helt saknas i datamängder som är tillgängliga. Det ger samlat sett intrycket att hela turism/rekreationsområdet är väldigt styvmoderligt behandlat.

Jämför man detta med tex data från staten New York så bliver det väldigt tydligt att vi i Sverige ligger efter. Se tex denna metadata image De skulle kunna förbättra genom att ha things istället för bara strings, men där finns en massa värdefull information som klart höjer kvaliteten över vilken som helst svensk datamängd på samma område.

I 🇺🇸 finns det till och med hela webbplatser för varje reservat där myndigheterna publicerar nyheter, varningar, kartor, m.m.

gjonor commented 2 years ago

Jag började modellera de största svenska IT fiaskon och anti-pattern för ett tag sen på Magnus' sweopendata Wikibase.

Jag jobbar en del med vandringsleder och lägerplatser. Vad intresserar dig?

Jag är kanske i nuläget mest intresserad av frågeställningar om resursfördelning, styrning och beslutsgångar i samhället, var pengarna går och hur de utnyttjas, t.ex. hur mycket som satsas på utveckling av öppen källkod och öppna data i jämförelse med vad som läggs på proprietär programvara och tjänster. Jag har märkt att det verkar tämligen svårt att få tag på sådan information, och att myndigheter är förvånansvärt ostrukturerade vad gäller att hålla sina medborgare uppdaterade, så jag har börjat undra lite varför det är på det viset. Allmänt kan jag kanske säga mig vara intresserad av sådant som faller under kategorin samhälls- och vetenskapsjournalistik, och av möjligheter att utveckla och förbättra IT-tjänster och infrastruktur till stöd och gagn för medborgare att delta och informera sig.

gjonor commented 2 years ago

@gjonor aktivera EasyQuery så kan du enkelt i Wikidata skapa grafer vilket ger lite mer en känsla av möjligheterna se salgo60/SkansenWikidata#9

Tack för tipset. Alltså:

User page > Preferences > Gadgets: Wikidata-centric: Easy Query https://www.wikidata.org/wiki/Special:Preferences#mw-prefsection-gadgets "EasyQuery: A tool to add an icon for finding items with same statements easier."

Ser hur det funkar med grafen med relaterade entiteter, förstår dock inte riktigt vad som menas egentligen med "finding items with same statements"?

Gadgets verkar inte finnas på wikibase.cloud.

salgo60 commented 2 years ago

Tror du kan kopiera om det är Javascripts koden till Wikibase

Ofta är gadgets sådant man lägger i sin common.js men formaliserats till en gadget

Den guru du skall följa är Magnus Manske som är en egen klass att koda

https://twitter.com/magnusmanske

Blog http://magnusmanske.de/wordpress/

Mer features https://wikidata.org/wiki/Wikidata:Tools/Enhance_user_interface

Sedan kan man kolla olika super users common.js och kopiera deras

Om user scripts https://en.wikipedia.org/wiki/Wikipedia:User_scripts

Annat coolt verktyg är Wikishootme som visar Wikidata objekt på en karta så man kan enkelt kan ladda upp bilder

Ex. Wikishootme anpassad med Sparql fråga som visar utegym om dom har bilder eller ej

https://wikishootme.toolforge.org/#lat=59.389979118110176&lng=14.580380916595463&zoom=6&layers=wikidata_image,wikidata_no_image&sparql_filter=%3Fq%20wdt%3AP6104%20wd%3AQ107186275&worldwide=1

image

gjonor commented 2 years ago

Bra tips, tackar.

jonassodergren commented 2 years ago

Sorry! Stängde av misstag. =) Nu öppen igen.

salgo60 commented 2 years ago

@jonassodergren det är väl bara att stänga.... känns kanske som den skulle legat i diskussion...

salgo60 commented 2 years ago

Bra tips, tackar.

@gjonor det är en heltids sysselsättning att hänga med på alla script/ verktyg.... jag gjorde en video med några..

1) Tror det behövs verktygsutvecklare som skapar nya verktyg för att saker som att koppla ihop domäner som olika myndigheter är skall fungerar... ser inte att det finns inom staten plus ovana att kommunicera plus ovana att jobba ihop plus ovana att någon tar på sig hatten att vara tankeledare.,...

gjonor commented 2 years ago

Håller med, jag tror det behövs fler verktyg och programvaror som gör det enkelt och effektivt att jobba med data.

salgo60 commented 2 years ago

@gjonor tycker detta lilla GITHUB repository visar så är inte kommunikation så svårt heller bara man vågar använda de verktyg som finns jag SWIB18 - felet är att få vågar (inlägg skrivna DIGG communityn/ besökare känns mest en lekstuga för WIki människor som ändå snackar på Telegram,,,,)

Nästa steg att beskriva mer komplexa saker som vad olika lagar handlar om och ha samma som för alla lagar i Europa kräver ett helt annat mindset/laguppställning... tycker dock att Wikidata pekar på att tekniken finns och även en spretig community klarar av enklare saker utan att alltid vara domänspecialister

Intressant på Wikipedia är hur extremt aktiva användare inte inser varför Wikidata/strukturerad data behövs.... gissar att det är 100 ggr svårare att förklara strukturerad data för DIGG eller andra myndigheter... där saknas samma vilja att jobba ihop, vana att kunna pinga alla andra, vana att diskutera allt med alla, vana att agera då något är fel hos någon annan myndighet är min sorgliga bild....

Jag har aldrig förstått denna fascination så många visar för Wikidata; är det verkligen bättre att behöva gå till Wikidata för att editera en källänk?.... Själv drar jag mig tillbaka från artikeln för att drömma litet om 2007, den ljuva tiden för 15 år sedan, då Wikidata inte fanns

image
gjonor commented 2 years ago

Förhållandet mellan narrativt, kontextuellt länkat innehåll och fakta-baser är intressant och något som jag själv inte är riktigt klar över ännu, men det borde ju vara högst relevant för behandling av lagtexter och offentliga handlingar.

salgo60 commented 2 years ago

Förhållandet mellan narrativt, kontextuellt länkat innehåll och fakta-baser är intressant och något som jag själv inte är riktigt klar över ännu, men det borde ju vara högst relevant för behandling av lagtexter och offentliga handlingar.

Inte jag heller men utmaningen tror jag är att göra saker Findable primärt. Kollar man på ELI Technical Guide så rekommenderar dom Eurovoc (WD Property:P5437) vilket känns som ett bra steg 1 och här borde det finnas med redan i Riksdagens Öppna data dels SFS men även motioner etc... dom pratade om det 2019 när jag träffade Riksdagen men det händer inte mycket...

image

Kollar man vad en tidigare projektledare av Rättsinformationssystemet funderade över så känns det att mycket mer borde kunna göras hans "graduate theses" "Towards a theory of jurisprudential relevance ranking Using link analysis on EU case law" ....

image image

OT @gjonor såg du dagens svar från Regeringskansliet på frågan om Öppna data ansvarig? request/vem_arbetar_med_oppna_data#incoming-4532 - andra som svarat på samma fråga - dom skall enligt lag svara skyndsamt nu tog det 12 dagar....

image
salgo60 commented 2 years ago
salgo60 commented 2 years ago

Scholia verkar vara ett intressant projekt att använda som förebild. Finns det kanske verktyg i det projektet som kan återanvändas?

Finns massa coola verktyg Magnus Manske blog har skrivit > 300 verktyg, jag har skrivit en integration med Svenskt Porträttarkiv

Ett coolt verktyg är mix-n-match där > 5000 externa kopplingar finns till webscrapade databaser --> dom är inte kopplade till WIkidata men man kan göra det för hand...

Exempel Oswald https://oswald.wikibase.cloud/wiki/Item:Q117 samma som WD Q104785244

image