Bug beim Export von mehr als 200 Treffern

[IxTheoKm]

Rückmeldung aus Louvain: es gibt jetzt die Möglichkeit, bis zu 500 Treffer anzuzeigen bzw. zu exportieren. Bei Anzeige bis zu 200 Treffern funktioniert das auch. Bei 500 Treffern kommt nach Auswahl von "Export" folgende Anzeige:

[mtrojan-ub]

Das Problem ist behoben, bitte kurz Ausprobieren ob's jetzt funktioniert.

Bis zu 499 Treffern funktionierte es noch. (Also wenn man 500 eingestellt hat, manuell eins wieder abgewählt hat und dann auf Export geklickt hat, konnte man einen Export durchführen).

Konkret war es kein Problem in VuFind selbst, sondern in der PHP-Konfiguration auf dem Server. Der Wert für max_input_vars musste erhöht werden. In der VuFind-Konfiguration wurde nicht darauf hingewiesen dass man beim Hochsetzen des Limits auch diese Einstellung anpassen muss. Wir haben das jetzt als Feedback an die VuFind-Mailingliste geschrieben.

siehe auch: https://sourceforge.net/p/vufind/mailman/message/36647134/

[IxTheoKm]

Jetzt kommt folgende Meldung: "Request-URI Too Long The requested URL's length exceeds the capacity limit for this server."

[mtrojan-ub]

Das gilt aber nur für den Refworks-Export, richtig?

Dort wird ja eine externe Seite aufgerufen. Die lange URL kommt davon, dass dort mehr IDs als bisher enthalten sind. Scheint so als ob man für Refworks kleinere Gruppen von IDs verwenden muss.

Bei z.B. 200 erhalte ich eine andere Fehlermeldung => The request filtering module is configured to deny a request where the query string is too long.

Bei z.B. 50 kommt jedoch die Frage => In welche Version von RefWorks möchten Sie gerne exportieren?

[IxTheoKm]

Ich hatte RIS und PPN-Liste getestet. Bei beiden kam dieselbe Meldung. EndNote habe ich jetzt auch getestet: "Request URL Too Long HTTP Error 414. The request URL is too long."

[mtrojan-ub]

Ah stimmt! Allerdings erst beim Klicken auf "Datei herunterladen"

Es hat sich herausgestellt dass wir auch in unserem Apache Web Server noch die Einstellung LimitRequestLine von der Voreinstellung 8190 auf einen höheren Wert setzen mussten.

Bitte nochmal ausprobieren! (außer bei Refworks, da können wir auf unserer Seite vermutlich nichts machen)

[IxTheoKm]

Danke, funktioniert jetzt bei den RIS, EndNote und PPN-Liste.

[thefass]

Email Versand geht zwar, allerdings sind nur die ersten 35 Titel als Link ausgewiesen, der Rest nicht. Das gilt sowohl bei Auswahl 500, aber auch schon bei Auswahl von nur 50 Titeln. (nur bei bis zu 20 Titeln sind alle als Link ausgezeichnet)

[thefass]

Export nach RIS funktioniert ab 100 Titel nicht (EndNote und PPN List funktionieren, RefWorks ist eigenes Problem)

Nach dem Klick auf "Datei herunterladen" kommt folgende Fehlermeldung: OPERA

FIREFOX

[mtrojan-ub]

@thefass: Der Hyperlink wird von VuFind korrekt generiert und versendet. Das Problem kommt daher, dass in E-Mails laut Standard max 1000 (bzw. 998) Zeichen pro Zeile erlaubt sind. siehe auch: https://www.ietf.org/rfc/rfc2822.txt (Abschnitt 2.1.1)

Wenn ich manuell eine E-Mail mit mehr Zeichen pro Zeile an meine eigene Uni-Tuebingen Adresse schicke dann klappt das zwar, aber wenn die Mail zwischen verschiedenen Mailservern durchgereicht wird (z.B. Postfix-Server mit Standard-Konfiguration) dann kann nicht garantiert werden dass die Mail auch so ankommt wie sie abgesendet wurde.

In Deinem Beispiel sind alle benötigten Zeichen da, aber einer der Mailserver in der Zustellungskette hat automatisch Zeilenumbrüche eingefügt um dem Limit-Problem vorzubeugen. Selbst wenn wir unsere internen Mailserver alle auf höhere Limits einstellen würden, wäre also nicht sichergestellt dass Benutzer am anderen Ende des Internets den korrekten Link angezeigt bekommen.

Wenn man aber manuell die Zeilenumbrüche und Leerzeichen rausmacht, dann geht's.

Evtl könnte man die Mail in einer anderen Kodierung verschicken (base64) oder zu große URLs in eine Datei im Anhang packen, aber da das VuFind allgemein betrifft schreiben wir's erstmal auf die Mailingliste.

[mtrojan-ub]

Das RIS-Export-Problem ist vermutlich kein Problem des Exports, sondern ein Datenproblem.

Leere Suche mit 200 Treffer pro Seite (neueste zuerst) exportieren nach RIS + runterladen

• Seite 1: Fehler, laut Log-Datei existiert eine PPN nicht die als übergeordnetes Werk bei mindestens einem Datensatz vorhanden war
• Seite 6: funktioniert problemlos

Beispiel-Datensatz: https://ixtheo.de/Record/1663280606 Übergeordnetes Werk lässt sich nicht öffnen (Theologische Quartalschrift, 129497029)

[mtrojan-ub]

• Das Datenproblem ist behoben (siehe #649), somit funktioniert auch der RIS Export wieder
• Für das E-Mail-Problem könnte z.B. auch ein "Link Shortener" erstellt werden. Laut der VuFind-Mailingliste wäre das auch als allgemeines Feature sinnvoll: https://sourceforge.net/p/vufind/mailman/message/36650519/

[mtrojan-ub]

Wir arbeiten bereits an einem Link Shortener, der voraussichtlich auch offiziell in VuFind 6 einfließen wird.

[mtrojan-ub]

Der Link Shortener ist offizieller Teil der 6.0 geworden. siehe: https://vufind.org/wiki/changelog

[mtrojan-ub]

Mittlerweile sind wir auf VuFind 6.0.1 und der URL Shortener ist aktiv, d.h. es werden jetzt auch kurze Hyperlinks in den E-Mails versendet.

=> Bitte nochmal testen!

[IxTheoKm]

Ich habe willkürlich 500 Treffer zum Export ausgewählt: https://ptah.ub.uni-tuebingen.de/Search/Results?limit=500&filter%5B%5D=%7Edewey-hundreds%3A%22500+-+Science%22&type=AllFields

RefWorks funktioniert nicht: Request URL Too Long HTTP Error 414. The request URL is too long.

Beim Versenden der Mail werden jetzt keine Links zu den Treffern geschickt (s. oben Kommentar 25. Apr.) sondern ein Link zur Suche. Ist das so gewollt? Link im IxTheo: https://ptah.ub.uni-tuebingen.de/short/J

[mtrojan-ub]

Ich habe eben die Mechanik der Weiterleitung umgestellt, da wir auf ptah Probleme mit php-fpm unter CentOS 8 hatten. Es wird jetzt kurz eine Weiterleitungsseite angezeigt:

Was den Inhalt bzw. das Ziel angeht: Also bei mir ist es ein Link zu den Treffern (ohne Suchfeld):

Für RefWorks glaube ich dass man statt des Callback-Verfahrens ein Form Post-Verfahren verwenden muss, aber um das zu testen brauche ich Zugangsdaten (siehe Rundmail).

Siehe auch: http://www.refworks.com/directexport.htm

[mtrojan-ub]

Heute im Meeting besprochen: @AleAprile organisiert einen Testzugang.

[AleAprile]

Über das Kontaktformular von Refworks habe ich meine Anfrage gestellt. Hoffentlich bekommen wir bald eine positive Rückmeldung.

[mtrojan-ub]

Die Anpassung für RefWorks ist auf ptah aktiv, ich setze es wieder auf "ready for testing"

[AleAprile]

Bis dato habe ich noch keine Rückmeldung von Refworks erhalten, obwohl ich inzwischen auch die für den Südwesten zuständige Mitarbeiterin angeschrieben habe.

[mtrojan-ub]

In der Zwischenzeit wurde mir eine E-Mail mit einem Link auf diese Webseite weitergeleitet: https://www.refworks.com/content/path_benefit/trial_request.asp

Dort kann man sich angeblich selbst einen Testaccount erstellen. Ich werde das ausprobieren und melde mich wieder.

[mtrojan-ub]

Das Formular zum Registrieren eines Testaccounts auf der RefWorks-Seite kann sowohl in Firefox als auch in Chrome nicht benutzt werdeen. Laut JavaScript-Console gibt es Fehler bei der Einbindung von Google ReCaptcha.

Firefox:

Chrome:

[mtrojan-ub]

Die Anpassung von ptah ist am Montag live gegangen.

@IxTheoKm: Lässt sich der von Ihnen am 9.12. beschriebene Fehler mit RefWorks aktuell noch reproduzieren?

[IxTheoKm]

Ich bekomme schon bei "Export" dieses Bild:

[mtrojan-ub]

Das kann ich aktuell nicht reproduzieren. Falls es auftritt hat es bestimmt wieder etwas mit einem fehlenden übergeordneten Werk zu tun.

[IxTheoKm]

Es tritt immer noch auf, z.B. bei

https://ptah.ub.uni-tuebingen.de/Search/Results?lookfor=superior_ppn%3A497677458&type=AllFields

https://ptah.ub.uni-tuebingen.de/Search/Results?limit=500&filter%5B%5D=%7Edewey-hundreds%3A%22500+-+Science%22&type=AllFields

https://ptah.ub.uni-tuebingen.de/Search/Results?lookfor=superior_ppn%3A268128154&type=AllFields

...

Es gelingt mir nicht, bei Auswahl von 500 Treffern, zum Export zu kommen. Beim Versuch, eine E-Mail zu senden, kommt dasselbe.

[mtrojan-ub]

Auf ptah wurde ein Problem mit der PHP-Konfiguration festgestellt:

[Mon Mar 09 10:04:30.843280 2020] [proxy_fcgi:error] [pid 5201:tid 140137350534912] [client 134.2.66.63:51776] AH01071: Got error 'PHP message: PHP Warning: Unknown: Input variables exceeded 1000. To increase the limit change max_input_vars in php.ini. in Unknown on line 0\n', referer: https://ptah.ub.uni-tuebingen.de/Search/Results?lookfor=superior_ppn%3A497677458&type=AllFields

Wir hatten zwar max_input_vars schon auf 10000 hochgesetzt aber es gab einen Syntaxfehler in der Zeile und daher hatte die Einstellung keinen Effekt.

Auf den anderen Servern war diese Einstellung korrekt gesetzt + aktiv, es schien sich also um ein Ptah-spezifisches Problem zu handeln. (Daher war es in meiner lokalen Installation nicht reproduzierbar)

Bitte jetzt nochmal testen.

[IxTheoKm]

Ich habe alle Exporte mit 500 Treffern durchgetestet. Sie funktionieren. Exportfunktion für RefWorks klappt jetzt im Prinzip. Ich kann aber das Ergebnis ohne Registrierung nicht testen. @mtrojan-ub Das Problem war aber wohl gelöst.

Meine Frage vom 9. Dezember 2019, ob es gewollt ist, dass keine Treffer, sondern ein Link über die Funktion "E-Mail" gesendet wird, wurde nicht beantwortet.

Wenn beides so okay ist, kann dieses Issue geschlossen werden.

[thefass]

Ist ok so. Ich schließe das Issue.