ubtue / tuefind

Tuebingen University's derivatives of VuFind. Contains former versions like IxTheo, RelBib and KrimDok.
GNU General Public License v2.0
6 stars 4 forks source link

Google Search Console Benutzungszahlen für RelBib + KrimDok #1609

Open mtrojan-ub opened 3 years ago

mtrojan-ub commented 3 years ago

Nachfolger-Issue von #1588

Aktuelle Zahlen zur Abdeckung aus der Google Search Console:

Wieso ist RelBib im Vergleich zu IxTheo so schlecht gecrawlt, obwohl es auf dem selben Server läuft? Wieso ist KrimDok so schlecht gecrawlt?

mtrojan-ub commented 3 years ago

Vermutungen: 1) Es liegt am Theme, weil IxTheo noch auf dem alten Theme ist. während RelBib+KrimDok schon auf den neuen Themes sind. Durch komplexeres CSS/JS, mehr Bilder usw. werden die Ladezeiten verlängert und daher verschlechtert sich das Ranking. 2) IxTheo hat mehr Datensätze und ist bekannter. Da es öfter von anderen Seiten verlinkt ist, erhöht sich auch die Crawl-Rate durch Google.

mtrojan-ub commented 3 years ago

1) Hier sieht es so aus, als ob insbesondere der Mobile-Theme von ixtheo im Sinne der Leistung deutlich besser abschneidet als der von RelBib.

(allerdings sollte man bei den Werten aufpassen, bei mehreren Tests hintereinander variieren sie stark je nach Auslastung des Servers).

https://developers.google.com/speed/pagespeed/insights/?url=https%3A%2F%2Fixtheo.de%2FRecord%2F156206908X&hl=de&tab=mobile grafik https://developers.google.com/speed/pagespeed/insights/?url=https%3A%2F%2Frelbib.de%2FRecord%2F156206908X&hl=de grafik

In den Reports werden viele einzelne CSS/JS-Dateien gelistet, die das Laden der Seite verzögern. In VuFind gibt es schon sehr lange ein Feature namens "Asset Pipeline" welches die Dateien optimiert. Es wird von uns allerdings bislang nicht verwendet. Experimentelles Aktivieren dieser Funktion führt zu Layout-Problemen => muss genauer untersucht werden.

mtrojan-ub commented 3 years ago

Ein erster Test mit KrimDok auf ub15 hat gezeigt, dass hier durchaus Potential vorhanden ist:

https://krimdok.uni-tuebingen.de/Record/1612286992

Ohne Asset Pipeline: grafik

Mit Asset Pipeline: grafik

Da wir aktuell jedoch mitten in der Urlaubszeit sind und hierzu auch Änderungen an den Apache-Konfigurationen der Liveserver notwendig sind, werden wir die Änderungen voraussichtlich erst im September vornehmen.

mtrojan-ub commented 3 years ago

Aktuell tendieren wir dazu, diese Änderung mit der Migration auf 7.1 zu bündeln, da hierfür sowieso eine Serverwartung notwendig ist. Die Vorbereitungen auf 7.1 sind schon relativ weit, voraussichtlich werden wir beim nächsten FID-Meeting am 21.9. einen Testzeitraum definieren.

mtrojan-ub commented 2 years ago

Umstellung der Testserver auf 7.1 voraussichtlich heute, Liveschaltung voraussichtlich Anfang Dezember.

mtrojan-ub commented 2 years ago

Liveschaltung 7.1 auf Live-Server wurde auf den 12.1. verschoben.

mtrojan-ub commented 2 years ago

Die Liveschaltung ist heute erfolgt und die Asset Pipeline nun auf allen Systemen aktiv. Wir müssen also über die nächsten Monate weiter beobachten wie sich das aufs Google Ranking auswirkt. Evtl gibt es noch weitere kleinere Optimierungen die wir durchführen können.

https://pagespeed.web.dev/report?url=https%3A%2F%2Fkrimdok.uni-tuebingen.de%2FRecord%2F1612286992&hl=de

/edit: Bei KrimDok hat sich noch herausgestellt, dass wir ein ca 500kb großes Bild mitliefern welches dann vom Browser gar nicht angezeigt wird, das werden wir noch optimieren.

thefass commented 1 year ago

@mtrojan-ub Kannst du nochmal Zahlen für unsere VuFinds erheben? Wie beurteilst Du die Situation jetzt?

mtrojan-ub commented 1 year ago

Die Zahlen scheinen Rückläufig zu sein

System Indexiert Gefunden - nicht indexiert Gecrawlt - nicht indexiert
IxTheo 1,06 Mio 2,7 Mio 271k
RelBib 27k 1,1 Mio 63k
KrimDok 18k 371k 3k

Ich werde es weiter beobachten. Wie sich herausgestellt hat gab es ein Problem in der robots.txt => Da wir /Author gesperrt hatten wurde auch indirekt /Authority gesperrt (betrifft also sämtliche Autorenseiten), das wurde heute behoben.