search

hbz / nwbib

Die Nordrhein-Westfälische Bibliographie
http://nwbib.de
3 stars 2 forks source link

Vorbereitung der VDL-Integration #163

Closed acka47 closed 6 years ago

acka47 commented 8 years ago

Currently, the "old" Aleph-based NWBib is searched within the Virtuelle Deutsche Landesbibliograhie (VDL). In order to ultimately switch to the new interface at some point, searches oin VDL also have to be served by the new system.

As long as the description of VDL technology (which is based on the KVK, Karlsruher Virtueller Katalog) on Wikipdia (https://de.wikipedia.org/wiki/Karlsruher_Virtueller_Katalog#Technologie) is still up-to-date, it might be quite easy to switch by adjusting the VDL configuration file for NWBib.

I will contact Uwe Dierolf, (kvk@bibliothek.kit.edu) and ask him whether this is doable.

acka47 commented 8 years ago

I will contact Uwe Dierolf, (kvk@bibliothek.kit.edu) and ask him whether this is doable.

Did that today. Now waiting for a response.

acka47 commented 8 years ago

Got the response and also phoned with Uwe Dierolf. The general process for getting the new NWBib website into VDL looks like this:

  1. Sort out financing as integration of a new source in VDL costs 2,500 Euros.
  2. Settle on a final URL where NWBib will be found.
  3. put together the following info for VDL integration: a. what lobid API calls should be used b. how the result list should be parsed c. how VDL should link back to NWBib
  4. voilà, the new NWBib website can replace the old one in VDL.
acka47 commented 8 years ago

We should also switch to SSL before this.

fsteeg commented 8 years ago

Tagging as nwbib-launch. Is this correct, @acka47?

acka47 commented 8 years ago

At least G.C. doesn't think this is important for the launch. Thus, moved to backlog.

acka47 commented 7 years ago

Ich mach mal auf Deutsch weiter. Habe heute den E-Mail-Thread mit @udgithub (U. Dierolf) wieder aufgegriffen und beginne nun, Antworten auf die oben gelisteten Fragen zu finden.

  1. Sort out financing as integration of a new source in VDL costs 2,500 Euros. :white_check_mark:
  2. Settle on a final URL where NWBib will be found. :white_check_mark: -> https://nwbib.de
  3. put together the following info for VDL integration: a. what lobid API calls should be used: b. how the result list should be parsed c. how VDL should link back to NWBib
  4. voilà, the new NWBib website can replace the old one in VDL.

In Bezug auf 3.a) und mit Blick auf die Suchmaske unter http://kvk.bibliothek.kit.edu/vdl/, müssen wir offensichtlich API Calls für die folgenden Suchanfragen auflisten (ich benutze {searchterm} als Variabel für den Suchbegriff):

Mir war nicht klar, dass die VDL eine so differenzierte Suche ermöglicht. Wie es aussieht müssen wir erst noch einige Anpassungen an der API vornehmen, bevor wir die Integration umsetzen können. Allerdings handelt es sich bei den meisten Anforderungen um Dinge, die ohnehin für die NWBib-Oberfläche nötig sind und also spätestens bei einem Umstieg der NWbib auf API 2.0 hätten umgesetzt werden müssen.

acka47 commented 6 years ago

Heute kam per E-Mail eine Anfrage aus der ULB Düsseldorf zur NWBib, ob wir in Sachen VDL-Integration wieder tätig werden könnten. Wir sollten also einen konkreten Plan zur Umsetzung besprechen, gerade in Bezug auf den Umstieg zu API 2.0 im Rahmen der erweiterten Ortssystematik.

fsteeg commented 6 years ago

Erforderliche Schritte für die VDL-Integration:

Weitere Schritte einer kompletten API-2.0-Umstellung, nicht für VDL-Integration erforderlich:

acka47 commented 6 years ago

Wir haben uns beim NWBib-Treffen auf folgendes Vorgehen geeinigt: Umsetzung der NWBib auf Basis von lobid-API 2.0 bis Jahresende (siehe https://github.com/hbz/nwbib/milestone/3), dann Übergabe an KVK.

fsteeg commented 6 years ago

Anfragen entsprechend https://github.com/hbz/nwbib/issues/163#issuecomment-315118385:

Titel, Autor, Körperschaft, Jahr:

Schlagwörter (Sachbegriff, Person, Ort/Region):

So weit der aktuelle Stand.

Die person= Anfrage sucht in contribution.agent allgemein, was das ist, was ich erwarten würde beim Feld "Autor" in der VDL (ich würde da auch eine Körperschaft eingeben z.B.). Um das deutlicher zu machen könnten wir den Parameter author oder agent nennen.

Die 3 subject Anfragen entsprechen der aktuellen Umsetzung in der VDL, die auch bei allen die gleiche Suche macht. Mit unseren nested Anfragen könnten wir hier auch differenzierter Suchen, wie bei corporation, aber wollen wir das?

acka47 commented 6 years ago

Mit unseren nested Anfragen könnten wir hier auch differenzierter Suchen, wie bei corporation, aber wollen wir das?

Nein. Hatten wir ja beim NWBib-Treffen so besprochen.

fsteeg commented 6 years ago

Deployed to test:

acka47 commented 6 years ago

Looks good. One last thing. We should also query the variant names for a person, e.g. https://test.nwbib.de/search?format=json&person=Chainrich should give results with works bei Heinrich Böll and Heine, see e.g. this entry http://lobid.org/resources/HT019390435.json

fsteeg commented 6 years ago

Deployed to test: https://test.nwbib.de/search?format=json&person=Chainrich

acka47 commented 6 years ago

+1

dr0i commented 6 years ago

Was automatically closed by merging #413. Reopened again.

ChristophEwertowski commented 6 years ago

+1 Wenn ich es richtig sehe, fehlt noch die Schlagwortsuche auf die subjectAltLabel, oder @acka47 ?

acka47 commented 6 years ago

Wenn ich es richtig sehe, fehlt noch die Schlagwortsuche auf die subjectAltLabel, oder @acka47 ?

Das funktioniert, siehe z.B. https://test.nwbib.de/search?format=json&subject=Krankheitszustand

acka47 commented 6 years ago

Offensichtlich ist die neue Version schon auf Production deployt, ohne dass wir das nochmal gründlich gereviewt hätten. So kam heute eine Meldung aus der Redaktion rein:

On 1/3/18 8:39 AM, E. L. wrote:

einige Anfragen in der NWBib Webversion laufen zurzeit fehlerhaft. Hier zwei zufällig gefundene Beispiele.

Die konkrete Titelsuche „Kommunales Management für Familien in einer kreisangehörigen Stadt“ zeigt 198227 Treffer an. https://nwbib.de/search?sort=newest&name=kommunales+management+f%C3%BCr+familien. Das kann nicht sein.

Mit dem SW „Landwirtschaft“ kann ich eine Trefferliste von 2078 Titeln generieren https://nwbib.de/search?sort=newest&subject=landwirtschaft. Will ich die Liste mit Kreisen (223) facettieren, erscheint der Programmiertext statt einer Trefferliste.

Gibt es dafür einen Grund? Wir hatten bereits aus der Information Rückfragen.

@dr0i Kannst du das bitte morgen direkt auf die alte Version zurückstellen?

acka47 commented 6 years ago

Herr F. hat sich nun auch gemeldet und zwei Probleme angemerkt. Hier eine Liste mit den obigen beiden Punkten und F.'s neuen:

Jetzt schau ich nochmal selbst durch und mach eine weitere Liste. Ist sehr überfrachtet das Ticket. Wenn gewünscht, kann ich auch einzelne Issues aufmachen...

dr0i commented 6 years ago

Ja, mein Fehler. Ist nun zurückgedreht.

acka47 commented 6 years ago

Ich glaube das reicht erstmal. Die Systematiken kann ich gerade nicht testen, weil es keine Labels auf dem Testsystem gibt...

fsteeg commented 6 years ago

Die Systematiken sind wieder im Testsystem: https://test.nwbib.de/search

fsteeg commented 6 years ago

I've started fixing the issues mentioned in the comments above.

@acka47 I suggest this approach: I check the boxes above when fixes are deployed to test, and you strike out the text next to the box when review is complete to confirm the fix.

fsteeg commented 6 years ago

All boxes checked, ready for review.

acka47 commented 6 years ago

Ich habe jetzt alle Punkte durchgestrichen, allerdings ist die automatische UND-Verknüpfung noch nicht komplett umgesetzt, dazu kommen ein paar neue Punkte:

Wohlgemerkt, mir sind auch einige Dinge aufgefallen, die in der neuen Version besser sind! Ich glaube mit den letzten hier genannten Anpassungen (vor allem dem ersten Punkt) plus einer Verschnellerung der Themensuche können wir das Launchen zum Testen durch die Redaktion.

fsteeg commented 6 years ago

Ich glaube mit den letzten hier genannten Anpassungen (vor allem dem ersten Punkt) plus einer Verschnellerung der Themensuche können wir das Launchen zum Testen durch die Redaktion.

acka47 commented 6 years ago

Ok, als ich es gestern ausprobiert hatte, kam es mir noch sehr langsam vor. Vielleicht habe ich aber auch einfach nicht richtig aufgepasst. Dann werde ich mal eine E-Mail an die Redaktion ~schreiben~ entwerfen.

fsteeg commented 6 years ago

@acka47 Habe die verbleibenden Häkchen gesetzt, siehe auch edits bei den einzelnen Punkten.

acka47 commented 6 years ago

~Ich würder sagen, das kann dann auf Production deployed werden und wir lassen die NWBib-Redaktion begutachten.~ Edit @fsteeg: Offline besprochen, werden Testsystem begutachten lassen, um Vergleich durch NWBib-Redaktion mit Produktivsystem zu ermöglichen.

acka47 commented 6 years ago

Wie gerade besprochen:

Außerdem:

fsteeg commented 6 years ago

Habe außer DDC die Punkte oben abgehakt.

Die DDC-Sonderbehandlung bringt im Zusammenspiel mit der Themensuche leider total viel Komplexität rein: neben der schon umgesetzen Sonderbehandlung bei der Anzeige brauchen wir spezielle Queries (bisherige funktionieren nicht weil wir hier wieder einen neuen, speziellen Fall haben, nämlich nested auf subject um den Typ zu filtern ODER normal in subjectAltLabel). Dazu kommt dann noch die spezielle Aggregation, um da auch die DDC subjects nested zu filtern (sicher nicht performanter als die bisherige, einfache Aggregation).

Ich denke wir sollten:

acka47 commented 6 years ago

Zwei Punkte habe ich oben bereits durchgestrichen.

Was die Sache mit dem fehlenden endDate bei SecondaryPublicationEvent von Periodicals angeht, bin ich immer noch der Meinung, dass der bis-Strich nicht angezeigt werden sollte. Es handelt sich da ja nicht um eine fortlaufende Publikation, sondern um die nachträglich Publikation eines bestehenden Periodikums, dessen Publikation meist eingestellt ist. Von daher wird es in der Regel besser sein, wenn es als einzelnes Publiaktionsdatum ohne "bis" angezeigt wird.

Zur DDC: Wir lassen das erstmal einfach so und schauen, ob sich jemand beklagt.

Die Sache mit den Umlauten teste ich dann, wenn es deployed ist.

fsteeg commented 6 years ago

Was die Sache mit dem fehlenden endDate bei SecondaryPublicationEvent von Periodicals angeht, bin ich immer noch der Meinung, dass der bis-Strich nicht angezeigt werden sollte. Es handelt sich da ja nicht um eine fortlaufende Publikation, sondern um die nachträglich Publikation eines bestehenden Periodikums, dessen Publikation meist eingestellt ist. Von daher wird es in der Regel besser sein, wenn es als einzelnes Publiaktionsdatum ohne "bis" angezeigt wird.

Auf test deployed, secondary publications werden nie als range angezeigt, siehe: https://test.nwbib.de/HT016401113 und https://stage.lobid.org/resources/HT016401113

acka47 commented 6 years ago

+1 Wie gesagt muss ich die Umlautsuchen aber noch austesten, wenn es deployt ist.

acka47 commented 6 years ago

As discussed offline, we now decided to show the DDC labels + notations in NWBib as well as in lobid.org. This should be no problem as we have the information in the respective Subject object, e.g.

{
  "subject":[
    {
      "label":"Künste",
      "notation":"700",
      "source":{
        "id":"http://d-nb.info/gnd/4149423-4",
        "label":"Dewey-Dezimalklassifikation"
      }
    },
    {
      "label":"Biografien",
      "notation":"709.2",
      "source":{
        "id":"http://d-nb.info/gnd/4149423-4",
        "label":"Dewey-Dezimalklassifikation"
      }
    }
  ]
}
acka47 commented 6 years ago

Umlautsuche ist auch ok. Dann fehl nur noch die DDC-Anzeige...

fsteeg commented 6 years ago

DDC-Anzeige und Gruppierung ist deployed:

https://test.nwbib.de/HT016604323 https://test.nwbib.de/HT009821451 https://test.nwbib.de/HT018239864

acka47 commented 6 years ago

+1

acka47 commented 6 years ago

Reopened for the actual VDL integration and because this still is on the test system.

fsteeg commented 6 years ago

Nächste Schritte auf Basis der Mail von H.F. vom 16.2.:

Über die aktuell produktive Funktionalität hinausgehende Sachen:

Nach API-Umstieg und VDL-Integration, d.h. sollten in separate Tickets ausgelagert werden:

fsteeg commented 6 years ago

@acka47 Habe die Änderungswünsche umgesetzt, siehe die Liste oben. Ich habe ein paar pragmatische Kompromisse gemacht um hier voranzukommen, speziell mit der ja inzwischen auch von extern geforderten VDL-Integration. Ich glaube das ist ein guter Stand mit vielen Verbesserungen gegenüber der aktuell produktiven Version. Weitere Anpassungen könne wir ja auch nach dem API-Umstieg umsetzen.

acka47 commented 6 years ago

+1 Mail an die NWBib-Redaktion ging gestern raus.

fsteeg commented 6 years ago

Kein Stemming für Subject-Queries: https://test.nwbib.de/search?subject=lohn

acka47 commented 6 years ago

Das können wir so deployen und dann mal an dem eigentlichen Thema des Tickets arbeiten. ;-)

fsteeg commented 6 years ago

Deployed to production: https://nwbib.de/

acka47 commented 6 years ago

Ich habe das Ticket umbenannt, damit wir es endlich mal schließen können. Öffne ein neues für die tatsächliche Integration.