search

KOST-CECO / KOST-Val

The KOST-Val application is used for validate files and Submission Information Package (SIP).
http://coptr.digipres.org/KOST-Val
Other
24 stars 6 forks source link

Anwendungshandbuch: Infos zur Verwendung von -Xss bei „Stack Overflow“ Fehlern #52

Closed wadoli closed 3 years ago

wadoli commented 5 years ago

Sehr geehrte Frau Röthlisberger

Beim Prüfen von 29 Verzeichnissen mit Datenmengen von ~1.5 bis ~895 GB in jeweils unterschiedlich vielen Unterverzeichnissen und Dateien (alle entweder TIFF, JPEG, DNG, PNG oder PDF) mit KOST-Val v1.9.4, habe ich in drei Fällen keine vollständige Logdatei zurückerhalten. Die .xml-Datei endete jeweils abrupt mit der folgenden Zeile:

<Validation><ValType>StackOverflowError</ValType><Invalid>invalid</Invalid></Validation>

Der Befehl für den Aufruf aus einem Batch-File (mit der unveränderten Standardkonfiguration von KOST-Val) war

java -jar kostval_de.jar --format b:\referenziert\2016

Die verwendete Version von Java ist

java version "1.8.0_152" Java(TM) SE Runtime Environment (build 1.8.0_152-b16) Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

Die unvollständigen Log-Dateien waren zu Verzeichnissen mit ~554 GB, ~895 GB und ~478 GB. Derweil wurden Verzeichnisse mit ~585 GB und ~524 GB erfolgreich überprüft.

Im Anwendungshandbuch (S. 11, v1.9.1) steht dazu:

Bei Bedarf kann die Einstellung des virtuellen Java Memory angepasst werden. -Xmx sollte bei „Out of Memory“ und -Xss bei „Stack Overflow“ Fehlern angepasst werden.

Wäre es evtl. möglich, hier etwas mehr Informationen in das Handbuch einzuarbeiten, z. B. Empfehlungen oder zumindest Erfahrungswerte?

Mit v1.9.6 von KOST-Val und der Option -Xss4m hat die Validierung mit vollständiger Logdatei (nach einem Neustart) auf meinem Gerät für die ersten zwei Verzeichnisse mit ~554 GB (19'708 Dateien) und ~895 GB (29'037 Dateien) funktioniert. Mit v1.9.6 von KOST-Val und der Option -Xss1m hat es (nach einem weiteren Neustart) dann auch noch mit dem letzten Verzeichnis mit ~478 GB (202'906 Dateien) geklappt. Ob der Neustart jeweils notwendig war, kann ich nicht sagen.

Noch eine Frage, die vielleicht auch im Anwendungshandbuch behandelt werden könnte: Scheinbar unberührt von der Meldung in der Logdatei ist die Validierung nach dem StackOverflowError in der Logdatei jeweils manchmal fortgesetzt worden. Zwar fehlen für die nicht in der Logdatei enthaltenen Dateien die Details, aber valid oder nicht valid ist häufig schon für sich genommen eine wichtige Information. Stimmen die auf der Konsole ausgegebenen Meldungen zum Validierungsergebnis nach einem StackOverflowError?

Freundliche Grüsse, Oliver Waddell

wadoli commented 5 years ago

Nachtrag: Eben habe ich bemerkt, dass der letzte Durchgang mit der v1.9.6 von KOST-Val und der Option -Xss1m doch nicht erfolgreich war (StackOverflowError). Anders als vorher wurde aber die Logdatei mit

</Format>
</KOSTValLog>

abgeschlossen und im Browser korrekt dargestellt, darum habe ich das erst jetzt gemerkt.

Auf der Konsole wurde der Fehler in diesem Fall ebenfalls ausgegeben und die Ausführung beendet:

[...]
141158 TIFF:  b:\referenziert\2017\0403\27000\L44482_01.tif  = Valid
141155 TIFF:  b:\referenziert\2017\0403\27000\L44482_04.tif  = ValidException: StackOverflowError
Die Log-Datei wird fertiggestellt. Bitte warten!
Formatvalidierung durchgefuehrt.                                                              
 -> Von den 62'042 Dateien sind 7'470 (12.04%) valid, 820 (1.322%) invalid und 53'751 (86.636%) wurden nicht validiert.  
 -> C:\Users\████████\.kost-val\logs\2017.kost-val.log.xml
wadoli commented 4 years ago

Nachtrag 2: Mit -Xss6m konnte auch das letzte Verzeichnis vollständig überprüft werden.