search

hbz / laser-ygor

A spare hand when needed ..
0 stars 1 forks source link

Performance-Tuning beim Schritt Datenexport #316

Open philboeselager opened 3 years ago

philboeselager commented 3 years ago

Beim Export großer Datenmengen / Pakete kann die Heap-Speicher-Größe überschritten werden. Es sind Maßnahmen zu identifizieren und umzusetzen, die den Speicher-Bedarf signifikant reduzieren.

Das Generieren des Paket-Json kann außerdem erhebliche Zeit in Anspruch nehmen. Es sind Maßnahmen zu identifizieren und umzusetzen, die die Verarbeitung signifikant beschleunigen.

croqueGrec09 commented 3 years ago

Dieses Problem betrifft nehmende Systeme gleichermaßen. Hier wird zur Zeit die Überlegung der Threadzerlegung getroffen, d.h. es werden n Threads zugeteilt, die sich abschnittsweise der Menge annehmen. Beispiel eines Prozessflusses: Thread 1 übernimmt Einträge 1-999, 2 1000-1999 ... 10 9000-9999. Wenn Thread 1 bei 999 angekommen ist, macht er bei 10000 weiter und geht bis 19999 usw.