search

sfa-siard / SiardGui

SIARD Suite - SiardGui
Other
17 stars 3 forks source link

Herunterladen wird immer langsamer und bleibt stehen #23

Closed CarlosHartmann closed 3 years ago

CarlosHartmann commented 3 years ago

Hallo

Ich habe hier eine relativ grosse Access-Datenbank (leider sensible Daten), aus der ich ein SIARD machen möchte. Parallel dazu versuche ich es auch mit csv2siard, ich melde das Problem hauptsächlich zur Verbesserung von SiardGui.

Und zwar ist das Problem, dass der Download stetig langsamer wurde. Die ersten Tabellen wurden mit 1'300 kB/s bis 1'100 heruntergeladen, also auch schon mit etwas Tempoverlust während dem Download. Tabelle Nr. 3 startete bei etwa 380 kB/s und ist jetzt bei Record 1171000 nur noch bei einem Tempo von 1.97 kB/s.

Liegt hier vielleicht ein Problem vor, das allgemein mit der Grösse von Tabellen zu tun hat?

HartwigThomas commented 3 years ago

In SIARD 2 sollte eigentlich keine Abhängigkeit von der Grösse der Tabellen bestehen. Kann man denselben Effekt beobachten, wenn man die Befehlszeile benutzt? (Im GUI wächst der Befehlszeilen-Output anfänglich, sollte aber auf eine feste Anzahl Zeilen beschränkt sein. Allenfalls müsste man das Garbage-Collecting anstossen. Auf der Befehlszeile besteht dieses Problem nicht.)

CarlosHartmann commented 3 years ago

Es scheint, als ob das Problem bei der Herkunfts-DB war. Ich hatte da schon problematische/buggy Stellen gesehen.

Ich habe jetzt dieselben Daten als Rohdaten im CSV-Format bekommen und dann selber in Access geladen. Der Download aus dieser eigenen Access-Zwischen-DB ging dann problemlos und im normalen Tempo.