Zamykání SOLR

[GoogleCodeExporter]

V rámci naší servisní smlouvy se na vás obracíme s prosbou o řešení 
incidentu u Krameria 4.
Jedná se o to, že se zastavuje indexace, protože se po indexování titulu 
neodemyká index a další indexování skončí chybou. 

1) HAPPKRAM2 (10.5.1.33) - zde je aplikace K4, která importuje a spouští 
indexaci
2) HSOLRKRAM1 (10.10.0.97) - zde je indexer

ad 1) Log indexovacího procesu na K4 obsahoval u mnoha po sobě jdoucích 
titulech toto: "java.lang.Exception: java.lang.Exception: Solr has throw an 
error. Check tomcat log. java.io.IOException: Server returned HTTP response 
code: 500 for URL: http://10.10.0.97:8080/solr/update". Chyby se začaly 
objevovat pravidelně od 21.2.2013 20:08 a trvají do doby psaní tohoto textu 
(22.2.2013 17:17).

ad 2) Soubor /home/solruser/tomcat/logs/ catalina.out 32 mil. řádků. Pomocí 
tail|less zjištěna opakující se chyba OutOfMemory Error - 36 výskytů v 
posledních 50000 záznamech, ale naposledy 21.2.2013, 8:14.
Soubor catalina.out administrátor L. Junek smazal, ponechal logy jednotlivých 
dnů.

Dále se v logu vyskytuje tato chyba "SEVERE: 
org.apache.lucene.store.LockObtainFailedException: Lock obtain timed out: 
NativeFSLock@/home/solruser/solr/./data/index/write.lock"

Soubor write.lock byl naposledy modifikován 2013 Feb 21 20:14, chyba se 
vyskytla poprvé 2013 Feb 21 8:19.

Z fóra 
"http://stackoverflow.com/questions/2341163/why-is-my-lucene-index-getting-locke
d" se administrátor dozvěděl, že za to může pokus dvakrát současně 
zapisovat do indexu a že je potřeba odstranit write.lock. 

Akce administrátora L. Junka
- 22.2.2013 18:06 smazal write.lock 
- 22.2.2013 18:41 restartoval Tomcat
- 22.2.2013 18:45 promazal catalina.out

V logu Tomcatu z 21.2.2013 objevil tyto chyby:

SEVERE: java.io.IOException: Map failed
SEVERE: org.apache.lucene.store.LockObtainFailedException: Lock obtain timed 
out: NativeFSLock@/home/solruser/solr/./data/index/write.lock
SEVERE: SolrIndexWriter was not closed prior to finalize(), indicates a bug -- 
POSSIBLE RESOURCE LEAK!!!

Neděle 24.2.2013: import a pokus o indexaci selhal z důvodu zamčeného 
indexu (write.lock).

Prosíme o objasnění příčiny, proč se index SOLR zamyká.

Original issue reported on code.google.com by radek.do...@nkp.cz on 25 Feb 2013 at 9:22

[GoogleCodeExporter]

Problém je způsoben tím, že předchozí pokus o zápis do indexu (commit) 
neuspěl kvůli chybě OutOfMemory. SOLR kvůli tomu nesmazal soubor write.lock 
a další zápisy pak nejsou možné až do ručního odstranění tohoto 
souboru.

Až vám to umožní provozní okolnosti, zkuste zvýšit maximální velikost 
heapu pro Tomcat SOLR změnou příslušných parametrů v proměnné JAVA_OPTS 
ve skriptu catalina.sh např. takto: -Xms1024m -Xmx2048m. Odstraňte znovu 
soubor write.lock a restartujte Tomcat.

Pokud problém s pamětí přetrvá i po zvýšení povolené heapsize, budete 
muset zjistit, které indexované dokumenty problém způsobují a čím se 
případně liší od těch, které jdou indexovat bez problémů.

Original comment by vlah...@gmail.com on 25 Feb 2013 at 4:17

• Changed state: Done

[GoogleCodeExporter]

Dobrý den!
Zvětšil jsem pamět podle Vašich rad. Několik dokumentů prošlo, ale pak 
byl index opět uzamčen. Máte přístup na HAPPKRAM2, kde se spouští 
indexovací procesy, i na HSOLRKRAM1, kde se indexuje, tak prosím 
prozkoumejte, v čem může být problém. Děkuji!
Leoš Junek, IT NK ČR

Original comment by leos.ju...@nkp.cz on 26 Feb 2013 at 4:09

[GoogleCodeExporter]

Přetrvávající problém s chybou OutOfMemory je nyní odstraněn 
explicitním nastavením DirectoryFactory v SOLR na NIOFSDirectoryFactory.  

Original comment by vlah...@gmail.com on 26 Feb 2013 at 10:12