Dagelijkse reload van apache zorgt voor outage van 1 minuut

baszoetekouw commented 2 years ago

Logrotate reloadt dagelijks om 0:01 (of daaromtrend) apache2. Daardoor kills apache de WSGI-processen. Op de volgende call (typisch van plsc) moet dan eerst SBS worden gestart, en die start niet voordat de SAML metadata geparst is. En dat kan zo een minuut duren. Daardoor timeout de plsc (of minder makkelijk fixbaar: 504t), en geeft de monitoring een error.

Mogelijke oplossingsrichtingen:

logrotate verplaatsen naar andere tijden (verschillend per machine)
logrotate voor apache afschaffen (dan dus ook apache logs allemaal in journal, en de papieren logs opruimen)
iets fixen (zodat SBS er niet zo lang over doet om te starten (cache van de metadata in redis?)
apache reload aanpassen zodat hij direct een call doet naar zichzelf en SBS zichzelf initialiseert

baszoetekouw commented 1 year ago

Ik denk dat we inmiddels alle apaches in onze deploys hebben uigefaseerd. Check dat nog even.

mrvanes commented 1 year ago

ci-runner heeft nog een apache2 afhankelijkheid, maar die heeft geen last van een restart. http_apache wordt nog gebruikt door bhr12.

baszoetekouw commented 1 year ago

confirmed; dit is dus opgelost door https://github.com/SURFscz/SRAM-deploy/issues/313

SURFscz / SRAM-deploy

Dagelijkse reload van apache zorgt voor outage van 1 minuut #281