search

swissbib / vufind

A library resource discovery portal designed and developed for libraries by libraries
GNU General Public License v2.0
12 stars 7 forks source link

Test Google Indexing gegen Solr7 cluster #657

Closed guenterh closed 5 years ago

edelm commented 5 years ago

sitemap.php kriegt einen timeout, sowohl beim up1 als auch direkt auf us15 @guenterh wo liegt die Konfiguration für die terms-Komponente?

guenterh commented 5 years ago

@edelm https://github.com/swissbib/searchconf/blob/master/solr/bib/solr.home/conf/solrconfig.xml

guenterh commented 5 years ago

Lösung gefunden. Siehe Diskussion auf der VuFind Liste mit dem subject "using terms component in distributed mode" Noch nicht klar ist die definitive Implementierung. Evtl. noch pull request nötig und Übergangslösung für uns. Sollte sich bis morgen geklärt haben

guenterh commented 5 years ago

Erweiterung der Solr query Attribute zur Unterstützung von distributed mode https://github.com/swissbib/vufind/commit/dace174669e73547b000b1d0728035557b9aefb9 @edelm wichtig: neu muss im Aufruf das swissbib Modul mit einbezogen werden siehe export VUFIND_LOCAL_MODULES=Swissbib; im Befehl

bash -c 'cd /usr/local/vufind/httpd/; export VUFIND_LOCAL_DIR=/usr/local/vufind/httpd/local/classic/local; export VUFIND_LOCAL_MODULES=Swissbib;  php /usr/local/vufind/httpd/util/sitemap.php'
guenterh commented 5 years ago

distrib=false ist keine Lösung. s. meinen Mailwechsel mit Frankfurt und VuFind Mailinglist subject "using terms component in distributed mode"

liowalter commented 5 years ago

[vufind] Test Google Indexing gegen Solr7 cluster

liowalter commented 5 years ago

[vufind] Test Google Indexing gegen Solr7 cluster

liowalter commented 5 years ago

[vufind] Test Google Indexing gegen Solr7 cluster

guenterh commented 5 years ago

Hier mein Mailwechsel zum curser-model auf der SRU Schnittstelle:

ich habe das Abholen der Jus-Daten von der produktiven Schnittstelle heute morgen selber getestet.

Ich konnte das Datenset problemlos abholen. Anbei noch ein Auszug des zweiten Teils des logs.

Ich habe zwei unterschiedliche Varianten ausprobiert.

a) maximumRecords=10 b) maximumRecords=100

Von der zweiten Variante stammt der log-Auszug.

Variante b) ist deutlich schneller. Ca. 35 Minuten.

Variante a) benötigt ~1H20

Variante b) benötigt 10x weniger requests. Aus den logs kann man ersehen, dass die durchschnittliche Dauer der Suche auf Seite Sucmaschine gleichmässig zwischen 50-110 ms beträgt. Das ist ok. Bei nur 10 Dokumenten liegt diese Spanne zwischen 30-60ms, muss dafür jedoch sehr viel mehr requests absetzen.

Versuchen Sie es nochmals selber. Die Abfragetechnik erkennen Sie aus dem log und sie ist hier https://github.com/swissbib/sruServer/wiki/sru-cursor-model beschrieben

@liowalter Punkte aus meiner Sicht:

liowalter commented 5 years ago

Thanks to https://github.com/vufind-org/vufind/pull/1253, this works again.

See

5eb98a029cf2cf3a480bce662b5e6ae5a2a36fd4 4f7e4cbd9a983cedbeaa972d060feb14bb469c96 d08bde2fd5daa2b49a9e7454927a7c8d8e6326e5 8af3c27eeb1afe31b243e5466f44daad2ce5ff3a

Now it is deployed on test.swissbib.ch but ready for integration in master