search

swissbib / vufind

A library resource discovery portal designed and developed for libraries by libraries
GNU General Public License v2.0
12 stars 7 forks source link

Auffälligkeiten client nach linked workflow update #669

Closed guenterh closed 5 years ago

guenterh commented 5 years ago

warum erscheinen keine Autoren? https://develop.swissbib.ch/Record/524734593

guenterh commented 5 years ago

Das Problem hier:

im bibliographischen Record sind 4 Autoren aufgenommen, die im person type nicht mehr zu finden sind.

@sschuepbach @Kordishal
ich denke es macht Sinn, wenn wir nochmals den kompletten workflow mit dem letzten Export von Silvia durchlaufen lassen. Dann sollten wir sicher sein, dass die Daten kompatibel sind. Ich bin mir nämlich nicht mehr sicher, ob die mehrfachen Anläufe von Personen und bibliographicRecord noch zusammenpassen. Was denkt Ihr?

curl -s -L -k -X GET "localhost:8080/lsb/bibliographicResource/524734593" -H 'Content-Type: application/json' | jq
{
  "_index": "lsb_181120",
  "_type": "bibliographicResource",
  "_id": "524734593",
  "_version": 1,
  "found": true,
  "_source": {
    "@type": "http://purl.org/dc/terms/BibliographicResource",
    "@context": "https://resources.swissbib.ch/bibliographicResource/context.jsonld",
    "@id": "https://data.swissbib.ch/bibliographicResource/524734593",
    "rdfs:isDefinedBy": "https://data.swissbib.ch/bibliographicResource/524734593/about",
    "dct:language": "http://lexvo.org/id/iso639-3/deu",
    "rdau:P60339": "Regie: James Marsh",
    "dct:alternative": "The mercy",
    "rdau:P60333": "Berlin : STUDIOCANAL GmbH, 2018",
    "dc:format": "1 DVD ; circa 98 Minuten",
    "rdau:P60470": [
      "Besetzung: Colin Firth, Rachel Weisz, David Thewlis, Ken Stott, Olivia Scott-Webb [und weitere]",
      "Untertitel. Deutsch. - Enthält Bonusmaterial, u.a. die Dokumentation \"Deep water\" von 2006",
      "Der Film erzählt die wahre Geschichte des Amateurseglers Donald Crowhurst",
      "Ab 6"
    ],
    "dct:contributor": [
      "https://data.swissbib.ch/person/af97514e-9bb8-338c-afab-d7611e18be8c",
      "https://data.swissbib.ch/person/6f2423a3-52f5-3952-ace9-bf1484161b96",
      "https://data.swissbib.ch/person/a58e5250-3660-3c1e-b883-5463159714c2",
      "https://data.swissbib.ch/person/325c8eb2-49fb-3a5e-ba55-6f090d374995"
    ],
    "rdau:P60049": "http://rdvocab.info/termList/RDAContentType/1023",
    "rdau:P60050": "http://rdvocab.info/termList/RDAMediaType/1008",
    "dct:issued": "2018",
    "dct:title": "Vor uns das Meer"
  }
}

curl -s -L -k -X GET "localhost:8080/lsb/person/_search" -H 'Content-Type: application/json' -d'
{
   "query": {
     "ids": {
       "values": [
         "af97514e-9bb8-338c-afab-d7611e18be8c",
         "6f2423a3-52f5-3952-ace9-bf1484161b96",
         "a58e5250-3660-3c1e-b883-5463159714c2",
         "325c8eb2-49fb-3a5e-ba55-6f090d374995"
       ]
     }
   }
 }' | jq
{
  "took": 75,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "failed": 0
  },
  "hits": {
    "total": 0,
    "max_score": null,
    "hits": []
  }
}
guenterh commented 5 years ago

@sschuepbach @Kordishal @witzigs Hallo zusammen nach dem letzten kompletten workflow mit dem letzten Export aus dem CBS von Silvia sind die Personen in der sidebar immer noch nicht sichtbar.

Der Grund: die in bibligraphicResource vorhandenen contributors "überstehen" den linked workflow (das heisst sie sind im file vorhanden) werden durch den anschliessenden enriched step jedoch "nicht" in den Index mit aufgenommen. Sebastian, hast Du eine Idee warum? Vielleicht ist das auch der Grund, warum wir sehr viel weniger contributor im Index haben als Du eigentlich erwartet hattest (so habe ich das zumindest noch im Ohr)

curl -s 'http://localhost:8080/lsb/bibliographicResource/524734593' | jq
{
  "_index": "lsb_181204",
  "_type": "bibliographicResource",
  "_id": "524734593",
  "_version": 1,
  "found": true,
  "_source": {
    "@type": "http://purl.org/dc/terms/BibliographicResource",
    "@context": "https://resources.swissbib.ch/bibliographicResource/context.jsonld",
    "@id": "https://data.swissbib.ch/bibliographicResource/524734593",
    "rdfs:isDefinedBy": "https://data.swissbib.ch/bibliographicResource/524734593/about",
    "dct:language": "http://lexvo.org/id/iso639-3/deu",
    "rdau:P60339": "Regie: James Marsh",
    "dct:alternative": "The mercy",
    "rdau:P60333": "Berlin : STUDIOCANAL GmbH, 2018",
    "dc:format": "1 DVD ; circa 98 Minuten",
    "rdau:P60470": [
      "Besetzung: Colin Firth, Rachel Weisz, David Thewlis, Ken Stott, Olivia Scott-Webb [und weitere]",
      "Untertitel. Deutsch. - Enthält Bonusmaterial, u.a. die Dokumentation \"Deep water\" von 2006",
      "Der Film erzählt die wahre Geschichte des Amateurseglers Donald Crowhurst",
      "Ab 6"
    ],
    "dct:contributor": [
      "https://data.swissbib.ch/person/af97514e-9bb8-338c-afab-d7611e18be8c",
      "https://data.swissbib.ch/person/6f2423a3-52f5-3952-ace9-bf1484161b96",
      "https://data.swissbib.ch/person/a58e5250-3660-3c1e-b883-5463159714c2",
      "https://data.swissbib.ch/person/325c8eb2-49fb-3a5e-ba55-6f090d374995"
    ],
    "rdau:P60049": "http://rdvocab.info/termList/RDAContentType/1023",
    "rdau:P60050": "http://rdvocab.info/termList/RDAMediaType/1008",
    "dct:issued": "2018",
    "dct:title": "Vor uns das Meer"
  }
}
swissbib@UB-18-PC-13:~$

swissbib@sb-ls1:/swissbib_index/linking/data$ grep af97514e-9bb8-338c-afab-d7611e18be8c swissbib_out_sorted.nt
<https://data.swissbib.ch/person/af97514e-9bb8-338c-afab-d7611e18be8c> <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://xmlns.com/foaf/0.1/Person> .
<https://data.swissbib.ch/person/af97514e-9bb8-338c-afab-d7611e18be8c> <http://www.w3.org/2000/01/rdf-schema#label> "Marsh, James" .
<https://data.swissbib.ch/person/af97514e-9bb8-338c-afab-d7611e18be8c> <http://xmlns.com/foaf/0.1/firstName> "James" .
<https://data.swissbib.ch/person/af97514e-9bb8-338c-afab-d7611e18be8c> <http://xmlns.com/foaf/0.1/lastName> "Marsh" .
swissbib@sb-ls1:/swissbib_index/linking/data$ grep 6f2423a3-52f5-3952-ace9-bf1484161b96  swissbib_out_sorted.nt
<https://data.swissbib.ch/person/6f2423a3-52f5-3952-ace9-bf1484161b96> <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://xmlns.com/foaf/0.1/Person> .
<https://data.swissbib.ch/person/6f2423a3-52f5-3952-ace9-bf1484161b96> <http://www.w3.org/2000/01/rdf-schema#label> "Firth, Colin" .
<https://data.swissbib.ch/person/6f2423a3-52f5-3952-ace9-bf1484161b96> <http://xmlns.com/foaf/0.1/firstName> "Colin" .
<https://data.swissbib.ch/person/6f2423a3-52f5-3952-ace9-bf1484161b96> <http://xmlns.com/foaf/0.1/lastName> "Firth" .
swissbib@sb-ls1:/swissbib_index/linking/data$ grep a58e5250-3660-3c1e-b883-5463159714c2  swissbib_out_sorted.nt
<https://data.swissbib.ch/person/a58e5250-3660-3c1e-b883-5463159714c2> <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://xmlns.com/foaf/0.1/Person> .
<https://data.swissbib.ch/person/a58e5250-3660-3c1e-b883-5463159714c2> <http://www.w3.org/2000/01/rdf-schema#label> "Weisz, Rachel" .
<https://data.swissbib.ch/person/a58e5250-3660-3c1e-b883-5463159714c2> <http://xmlns.com/foaf/0.1/firstName> "Rachel" .
<https://data.swissbib.ch/person/a58e5250-3660-3c1e-b883-5463159714c2> <http://xmlns.com/foaf/0.1/lastName> "Weisz" .
swissbib@sb-ls1:/swissbib_index/linking/data$ grep 325c8eb2-49fb-3a5e-ba55-6f090d374995  swissbib_out_sorted.nt
<https://data.swissbib.ch/person/325c8eb2-49fb-3a5e-ba55-6f090d374995> <http://www.w3.org/1999/02/22-rdf-syntax-ns#type> <http://xmlns.com/foaf/0.1/Person> .
<https://data.swissbib.ch/person/325c8eb2-49fb-3a5e-ba55-6f090d374995> <http://www.w3.org/2000/01/rdf-schema#label> "Thewlis, David" .
<https://data.swissbib.ch/person/325c8eb2-49fb-3a5e-ba55-6f090d374995> <http://xmlns.com/foaf/0.1/firstName> "David" .
<https://data.swissbib.ch/person/325c8eb2-49fb-3a5e-ba55-6f090d374995> <http://xmlns.com/foaf/0.1/lastName> "Thewlis" .

swissbib@UB-18-PC-13:~$ curl -s 'http://localhost:8080/lsb/person/af97514e-9bb8-338c-afab-d7611e18be8c' | jq
{
  "_index": "lsb_181204",
  "_type": "person",
  "_id": "af97514e-9bb8-338c-afab-d7611e18be8c",
  "found": false
}
swissbib@UB-18-PC-13:~$ curl -s 'http://localhost:8080/lsb/person/6f2423a3-52f5-3952-ace9-bf1484161b96' | jq
{
  "_index": "lsb_181204",
  "_type": "person",
  "_id": "6f2423a3-52f5-3952-ace9-bf1484161b96",
  "found": false
}
swissbib@UB-18-PC-13:~$ curl -s 'http://localhost:8080/lsb/person/a58e5250-3660-3c1e-b883-5463159714c2' | jq
{
  "_index": "lsb_181204",
  "_type": "person",
  "_id": "a58e5250-3660-3c1e-b883-5463159714c2",
  "found": false
}
swissbib@UB-18-PC-13:~$ curl -s 'http://localhost:8080/lsb/person/325c8eb2-49fb-3a5e-ba55-6f090d374995' | jq
{
  "_index": "lsb_181204",
  "_type": "person",
  "_id": "325c8eb2-49fb-3a5e-ba55-6f090d374995",
  "found": false
}

ich denke, wenn wir die Ursache für diesen Fehler gefunden haben, "dann hey mehr's"....

guenterh commented 5 years ago

wir haben eine falsche Konfiguration für den Import von angereicherten Personen genutzt. Nach Korrektur wurden die fehlenden Personen korrekt importiert