Forum-Informationsfreiheit / offenewahlen_wikidata

Wikidata and election data in Austria.
https://offenewahlen.at
6 stars 4 forks source link

Synchronize offene wahlen with wikidata #9

Open skasberger opened 6 years ago

skasberger commented 6 years ago

first message by me: wegen wikidata: eine der großen herausforderungen ist, wie man den datenbestand von offene wahlen at mit wikidata syncen kann. das problem ist dabei, wie man zwei einträge matcht. also kandidat christian kern bei offene wahlen mit wikidata item zu christian kern. ich hab ziemlich viele daten, die wir importieren könnten, aber solange wir das problem nicht gelöst haben, macht das wenig sinn, da man dann die einträge nicht mehr automatisiert warten kann. ein konkretes beispiel: hab die liste aller 4000 kandidatinnen der nrw17. wenn ich die jetzt einfach importiere, weiß ich nicht ob ich damit ein duplikat erstelle. zu allen 4000 namen händisch nach einem wikidata eintrag zu suchen geht auch nicht. wie man den initialen zustand herstellt ist mal das schwierigste. dann muss bei offene wahlen eine eindeutige und stabile id für jeden eintrag erstellt, und diese mit der wikidata id verknüpft werden. das könnte man auf jeden fall mal zu designen und prototypen versuchen, damit wir das dann später mal in die app einbinden.

answer by @fleimgruber:

Ich sehe das Problem. Eine Moeglichkeit (die ich in der Arbeit immer bevorzuge) ist die, dass man das syncen loest, indem man gar nicht synced

Was haeltst Du generell von der Idee alle Daten in Wikidata zu haben und das als Datenbackend zu verwenden? Ein weiterer Vorteil (zum nicht-syncen) waere, dass man von all der Arbeit profitieren koennte, die Leute in den Wikidata-Bestand klopfen. Diese, ich nenns mal "upstream" Arbeit, muesste man sonst wieder iwie (halb?)automatisiert in den sync einbinden... da sind fuer meinen Geschmack zu viele Stolpersteine bzw. potentielle Schlagloecher drin, die schwer wieder auszubuegeln sind...

was haeltst Du grundsaetzlich davon? Gibt es etwas, das ich uebersehe / uns etwas verbaut?

skasberger commented 6 years ago

was ich mir bis dato überlegt habe:

  1. vorhandene Daten sammeln und in offene wahlen datenbank bzw. file importieren: div. Wikidata Queries
  2. zu den vorhandenen Daten (lokale Import-File oder OW-Datenbank) die Wikidata IDs hinzufügen (manuel, semi-automatisch, automatisch)
  3. die angereicherten Daten mitsamt der OW-AT ID in Wikidata importieren. Falls eine Wikidata ID erstellt wurde, diese in der Import-Datenbasis mitsamt timestamp abspeichern. a. wenn keine ID vorhanden: mittels attribute nach vorhandenem item anfragen. liste dieser items exportieren und manuell editieren b. den komplettierten datenbestand importieren
  4. syncen der daten: nur wenn änderung neuer als letzter import