Closed HebisJC closed 7 years ago
lemfra
commented
7 years ago Sende gerade JSON-Titeldaten mit über 2000 Titeln an die phaeton GOKb. Der Vorgang läuft bereits seit einter halben Stunde ohne Abbruch. Den Request sende ich mit Hilfe des Firefox-plugins httpRequester. Das ist zum Testen sehr komfortabel. Man hat die Inhalte schnell beisammen. Könntest du auch mal bitte das Plugin bei dir installieren und es darüber versuchen? Es wäre aufschlußreich zu wissen, ob das bei dir läuft.
HebisJC
commented
7 years ago Läuft auch nicht über das Plugin, der Transfer bricht mit 404 Error (Bad Gateway) nach ziemlich genau 60200ms ab.
Mit 100 Titeln geht's noch, da kriege ich einen 200, und das JSON aus dem Response.
Vermutlich bringt das nicht viel, aber kannst du mir dein Testfile zusenden, so dass ich das von hier aus anstoßen kann?
Hier der gespeicherte Request:
POST http://phaeton.hbz-nrw.de/gokb/integration/crossReferenceTitle Content-Type: application/json Filename: /.../20170321-1359-TEST2_200ST.csv.titles.json Username: ...
-- response -- 404 Date: Mon, 27 Mar 2017 15:23:40 GMT Server: Apache Content-Type: text/html;charset=utf-8 Content-Language: en Content-Length: 1060 Keep-Alive: timeout=15, max=100 Connection: Keep-Alive
<!DOCTYPE html>
type Status report
message /error/HTTP_BAD_GATEWAY.html.var
description The requested resource is not available.
lemfra
commented
7 years ago @ "Vermutlich bringt das nicht viel, aber kannst du mir dein Testfile zusenden, so dass ich das von hier aus anstoßen kann?"
=> Kann dir das Testfile erst senden wenn im Ygor noch eine Änderung durchgeführt wurde: Momentan schleicht sich in die URL in "tipp > package > name" noch ein Blanc ein. Das muss erst noch gefixt werden.
lemfra
commented
7 years ago Habe mit deinen Paketdaten jetzt das Paket "20170327_BioOne Complete 2016_TEST_ZDBID" per HttpRequester > PUT nach phaeton geschickt.
Benutzte Datei "20170327-1739-package.json" Das Paket wurde mit TIPPs angelegt.
Wenn ich allerdings crossReferenceTitle mit der Datei "20170327-1739-titles.json" anspreche erhalte ich SQL-FeHler.
HebisJC
commented
7 years ago Wenn ich allerdings crossReferenceTitle mit der Datei "20170327-1739-titles.json" anspreche erhalte ich SQL-FeHler.
Die SQL-Fehler sind dann wahrscheinlich Teil eines korrekten Response und beziehen sich auf einige (nicht alle) Titel?
Habe jetzt den Upload der Titeldaten von daheim ausprobiert, bekomme aber dennoch die 404 / Bad Gateway. Dort waren es ca. 62-64 Sek. als die Fehlermeldung aufkam. Der Upload des Pakets selbst funktioniert tadellos.
PUT statt POST habe ich zumindest am Bürorechner ausprobiert, jedoch ohne einen abweichenden Effekt.
Kann es etwas mit meinen Benutzerrechten zu tun haben? Könntest du das irgendwie validieren?
lemfra
commented
7 years ago Deinen Account habe ich mir angesehen. Du hast alle Benutzerrechte wie ich auch. Daran kann es also nicht liegen. Heute mache ich wieder Tests zum Upload.
HebisJC
commented
7 years ago Heute habe ich ein recht großes Paket von Elsevier (über 2000 Titel) hochgeladen, nur das Paket, nicht die Titeldaten, da bereits welche in der GoKB enthalten waren und ich wissen wollte, wie viele davon an das Paket gehängt werden.
Natürlich bekam ich beim Upload mit dem http-Requestor wieder 404 / HTTP_BAD_GATEWAY.
Viel interessanter ist hingegen, als ich versucht hatte das frisch geladene Paket in der GoKB zu öffnen, dauerte der Aufruf ziemlich lange und brach irgendwann im Browser mit dem selben Fehler ab (404 / HTTP_BAD_GATEWAY).
Bei einem erneuten Versuch das Paket zu öffnen, bekam ich dann die Fehlermeldung Proxy Error (502 / Bad Gateway).
Noch ein Versuch und ich bekam einen Hinweis auf Wartungsarbeiten.
Kurze Zeit später und einen erneuten Login ließ sich das Paket normal öffnen mit 432 angehängten Titeln.
Paket: http://phaeton.hbz-nrw.de/gokb/resource/show/org.gokb.cred.Package%3A4287444
Kurze Zeit später (ziemlich genau um 10 Uhr) eine erneuter Versuch das Paket zu öffnen und wieder das gleiche Problem (404 / HTTP_BAD_GATEWAY vom Tomcat). Diesmal brach die Verbindung nach ca. 80 Sek. ab, sogar jetzt zwei mal nacheinander
lemfra
commented
7 years ago Die Größe des Heap hat wohl nicht ausgereicht. Wird jetzt hochgesetzt.
Moetez16
commented
7 years ago Ist das Problem noch vorhanden?
HebisJC
commented
7 years ago Jetzt funktioniert es überwiegend. Einmal hatte ich ein Timeout bei 5413926ms, sonst lagen die Anfrage eher im 5-6 stelligen Bereich.
Das größte Paket, das ich bisher importiert hatte, bestand aber aus ca. 2200 Titeln, weiß nicht, wie es sich verhält, wenn die Pakete größer sind.
lemfra
commented
7 years ago In den nächsten Tagen erwarten wir die Paket-Dateien im KBART-Format, das von der neuen Ygor-Version gefordert wird und können auch wieder Pakete mit höherer Anzahl Titeln verarbeiten.
philboeselager
commented
7 years ago @HebisJC : Ist das Problem noch aktuell? Ansonsten bitte einfach Ticket schließen.
philboeselager
commented
7 years ago Offensichtlich ist das Issue nicht mehr aktuell. Ich schließe es daher.
Versucht man über CURL die JSON-Titeldaten an die Title-API zu senden, bekommt man in der Regel eine JSON-Antwort mit Informationen über geglückte Importe bzw. wo es zu Problemen gekommen ist.
Ist das JSON zu groß (so ca. ab 100-150 Titeln), kommt es nach ziemlich genau 60 Sek. zum einem 404 BadGateway-Fehler.
Ein Versuch CURL mit --max-time und --connect-timeout auf 240 laufen zu lassen hat keine Besserung gebracht.