search

MLAB-project / data-uploader

Python utility which sort data to folders and upload it to ssh server
GNU General Public License v3.0
0 stars 0 forks source link

Slow internet connection interrupt data uploading #8

Open kaklik opened 7 years ago

kaklik commented 7 years ago

small internet connection bandwidth could result in SSH session interruption.

create folder: /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/17 Write errorSSHException('SSH session not active',) /home/odroid/bolidozor/station/meteors/20170803135711079_HFN-R1_met.fits /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/13/20170803135711079_HFN-R1_met.fits create folder: /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/13 Write errorSSHException('SSH session not active',) /home/odroid/bolidozor/station/meteors/20170803141126290_HFN-R1_met.fits /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/14/20170803141126290_HFN-R1_met.fits create folder: /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/14 Write errorSSHException('SSH session not active',) /home/odroid/bolidozor/station/meteors/20170803142157074_HFN-R1_met.fits /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/14/20170803142157074_HFN-R1_met.fits create folder: /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/14 Write errorSSHException('SSH session not active',) /home/odroid/bolidozor/station/meteors/20170803154039420_HFN-R1_met.fits /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/15/20170803154039420_HFN-R1_met.fits create folder: /storage/bolidozor/HFN/HFN-R1/meteors/2017/08/03/15 Write errorSSHException('SSH session not active',)

kaklik commented 3 years ago

a similar situation happens at alfapce station, where internet connection is limited.

image

kaklik commented 3 years ago

Stanice alfapce opět "přestala posílat data".

Dlouhodobě spuštěný screen s data uploaderem, který je zaseknutý v tomhle stavu. image

iftop pak ukazuje tohle image

Zdá se, že data-uploader zamrzne v nějakém stavu ve kterém neodesílá data. Zároveň jej ani nelze ve screenu běžným způsobem ukončit pomocí ctr-C.

V té samé době radio-observer na stanici normálně běží. Avšak využití paměti i swapu je podezřele velké.

image

A i generuje nová data, která ale zůstávají na stanici.

image

Použití 

killall dataUpload.py

Pamět nijak zásadně neuvolnilo, ale ve screenu běžící data-uploader se ukončil.

image

Po novém spuštění taktéž ve screenu začal znovu uploadovat data.