BHTOM-Team / bhtom2

7 stars 2 forks source link

Files are being deleted from Admin-Data after 60 days passed from data created #190

Closed astromiki closed 4 weeks ago

astromiki commented 2 months ago

In polish: @Yurii Purdenko @akrawczyk Gruby bug w Admin->Data! Pliki usuwają się po dwóch miesiącach od daty w 'Created'. Ta data powinna być odświeżana przy każdej próbie 'Reload FITS' czy 'Test Reload FITS'. To samo dla zakładki 'Photometry File'. Proszę o szybki fix!

majkelx commented 2 months ago

To nie jest błąd, to jest 'feature'.

Umówiona retencja FITS byla taka że trzymane są 7 dni od daty powstania. Idea byla taka żeby byly tylko tyle ile potrzeba na przetwarzanie. Tak też byla obliczna bezpieczna potrzebna ilość miejsca na serwerze i na backupy maszyn.

W związku z problemami z ccdphot i koniecznością poprawy błędów, teraz jest 60 dni i to jest z poważnym zagrożeniem dla bezpiecznej ilości zajętego miejsca. Cały czas nam zagraża też wzrost tempa wgrywania nowych plików który może nas zmusić do zmiejszenia tych 60 dni.

Tym bardziej nie możemy zmienić polityki na pozwalającą na arbitralne przedłużenie przechowywania dowolnej ilości FITS o kolejne 60 dni a to byłoby konsekwencją realizacji twojego błędu krytycznego postulatu.

Z racji że obecny system też nie jest komfortowy dla administracji systemem, gdyż trudno oszacować przyrost zajętości miejsca przez pliki, można pomyśleć o innego rodzaju limicie przechowywanych plików, na przykład określenie go w GB (a nie dniach przechowywania). Wtedy można by rozważyć przesuwanie plików 'reloadowanych' na koniec kolejki do usunięcia, gdyż to nie będzie miało wpływu na całkowitą ilość przechowywanych plików. Ale to wymaga dewelopmentu oraz decyzji w szerszym gronie.

astromiki commented 2 months ago

Dobra, w takim razie ja sobie robie kopie plików FITS na zewnętrzny serwer.

astromiki commented 2 months ago

Tematu na rzie nie zamykam.

astromiki commented 4 weeks ago

Zamykam.