search

salgo60 / NOSAD-POC-Wikidata

POC Nosad koppling WD
https://salgo60.github.io/NOSAD/
3 stars 0 forks source link

RSS flöde? Things not strings bygga upp ett ekosystem mer än bara ladda upp filer #7

Open salgo60 opened 2 years ago

salgo60 commented 2 years ago

Vore snyggt om NOSAD och dataverkstaden med flera hade data som data och kunde generera exempelvis rss flöde med kalenderhändelser för presentationer så det är enkelt att automatiskt prenumerera tror det borde funderas över att skapa ett ekosystem för Öppen data och inte som idag "bara" ladda upp filer till dataportalen som åker ned till data.europa med lite textsträngar som DCAT och mervärdet är tveksamt....

image

Skapa ett ekosystem vs. ladda upp filer a la "fire and forget" Tittar jag på dataportalen och Wikidata så starta båda kring 2012 MEN det ena har 100 miljoner objekt i en kunskapsbas och massa verktyg se Wikidata:Tools / (mest använda) se även WD statistik

Things not strings - RSS flöde

Även här vore det intressant att kunna kanske ha ett kontrollerat vokabulär med Linked Data så man kan välja vad man prenumererar på även att RSS flöde innehåller nya dataset se även min kommentar på dataportalen där Linked data skulle vara till hjälp

Jag skapade även en ticket 2020-06-24 DESK-7510 se Notebook till data.europa.eu

image

Ändringsström dataportalen - tar vi höjd för länkade data?

Ändringsstrom dataportalen

image
jonassodergren commented 2 years ago

Möjligheter med API vs rapportera filer

  1. Kommande driftstopp - Går att hantera med https://www.rfc-editor.org/rfc/rfc8594.html
  2. Kommande brytande förändringar i ett API - Kanske går börja med att hålla en tråd uppdaterad i forumet på ett automatiskt sätt. Exempelvis https://community.dataportal.se/topic/856/api-uppdateringar, https://forum.jobtechdev.se/latest.rss tyder på att det borde gå att skapa en strukturerad dataström från en sådan tråd.

Med små medel går det få en total bild av förändringar och uppdateringar för API:er aka dynamisk data. Jag tror alltså på enkla konventioner som alla enkelt kan följa.

Avseende förändringar i rapporterade filer: För att motverka "fire and forget" som i sig är ett bra mönster krävs ett kompismönster för att hantera förändringar i datafiler. Jag är motståendare till "tunga" enterprisemönster såsom mq, distribuerade transaktioner etc. Exempelvis rss-strömmar sjulle kunna vara en hyposes till lösning för att se vad som har förändrats. Typ https://data.arbetsformedlingen.se/rss/datajobtechdevse.xml fast för all data på dataportalen.

Dataportal.se bör betraktas som ett data-ekosystem och inte en avstjälpningsplats för data. Första steget att inte lagra data på dataportal.se utan bara rapportera metadata tycker jag är väldigt bra och skapar förutsättningar för en distribuerat system. Nästa steg är nog att fundera på hur förändringar ska detekteras.

jonassodergren commented 2 years ago

NOSAD.se grundide är verkligen att alla ska kunna uppdatera en wiki-sida och sedan skapas en snyggare version av innehållet i wikin med lite styling. Tror det mönstret skulle kunna hjälpa många att snabbt och kostnadseffektivt kunna driva en tillräckligt snygg hemsida. (Tänk på att det är jag som lägger ca 1 timme i månaden på att fixa med sidan). Nu när vi börjar detektera innehåll som skulle kunna vara strukturerat (organisation, event) etc tycker jag att vi bryter ut de elementen i en version 2. Lutar lite åt att försöka hitta bra scheman från schema.org för den strukturerade datan. CSV är ett något för generellt format för den strukturerade datan. Men det är en bra start.

salgo60 commented 2 years ago

@jonassodergren jag bara kastar ut mig ideer....

CSV ser jag mer som ett laddformat till en kunskapsgraf om det blir Wikidata Wikibase eller annat eller båda som en test....

jonassodergren commented 2 years ago

Förstår. Har inget motförslag. =) Kollade på https://schema.org/Event som verkar något för avancerat kanske.

  {
      "@context": "https://schema.org",
      "@type": "Event",
      "name": "The Adventures of Kira and Morrison",
      "startDate": "2025-07-21T19:00-05:00",
      "endDate": "2025-07-21T23:00-05:00",
      "eventAttendanceMode": "https://schema.org/MixedEventAttendanceMode",
      "eventStatus": "https://schema.org/EventScheduled",
      "location": [{
        "@type": "VirtualLocation",
        "url": "https://operaonline.stream5.com/"
      },
      {
        "@type": "Place",
        "name": "Snickerpark Stadium",
        "address": {
          "@type": "PostalAddress",
          "streetAddress": "100 West Snickerpark Dr",
          "addressLocality": "Snickertown",
          "postalCode": "19019",
          "addressRegion": "PA",
          "addressCountry": "US"
        }
      }],
      "image": [
        "https://example.com/photos/1x1/photo.jpg",
        "https://example.com/photos/4x3/photo.jpg",
        "https://example.com/photos/16x9/photo.jpg"
       ],
      "description": "The Adventures of Kira and Morrison is coming to Snickertown in a can’t miss performance.",
      "offers": {
        "@type": "Offer",
        "url": "https://www.example.com/event_offer/12345_201803180430",
        "price": "30",
        "priceCurrency": "USD",
        "availability": "https://schema.org/InStock",
        "validFrom": "2024-05-21T12:00"
      },
      "performer": {
        "@type": "PerformingGroup",
        "name": "Kira and Morrison"
      },
      "organizer": {
        "@type": "Organization",
        "name": "Kira and Morrison Music",
        "url": "https://kiraandmorrisonmusic.com"
      }
    }
salgo60 commented 2 years ago

Eller inte för avancerat..... känns som en bra test att jobba mellan NOSAD och dataverkstaden...

Min tro är att det finns lite mervärde att testa Wikidata/Wikibase det jag vill bort ifrån är massa strings

OpenRefine har Templates för att exportera så det är rel... enkelt att skapa saker gissar jag om vi testar det Export OpenRefine test.txt

image
salgo60 commented 1 year ago

Bra artikel i The New York Times om hur iNaturlist jobbar med att kategorisera arter dvs. ett mönster vi vill se med Linked data

on many of the iNaturalist faithful that maybe they are on to something much bigger — a model for using the web that is governed by cooperation, not combat.

image