pyo92 / project-lottery

Spring boot 복권 서비스 (Monolithic)
1 stars 0 forks source link

[고도화] selenium - scraper retry #200

Closed pyo92 closed 3 months ago

pyo92 commented 3 months ago

Image

최근 동행복권 추첨결과 공개 지연 사태가 있었다. 이 외에도 추첨결과 업로드 시간이 회차마다 조금씩은 차이가 있는 것 같다.

스크랩핑이 모두 정상 완료된 회차가 있는가 하면, 부분 완료된 회차도 간혹 있었다. 이러한 문제 때문에 관리자 페이지에서 스크랩핑을 처리할 수 있게 기능을 만들었다. 심각한 지연이 아니라면, 약간의 딜레이는 retry 하여 처리할 수 있도록 개선이 필요해 보인다.

현재 추첨결과 관련 스크랩핑 스케쥴은 다음과 같다. (매주 토요일, Asia/Seoul)

개선 목표는 다음과 같다.

추첨결과 관련 scrap 스케쥴이 15분 간격이므로, 5 * 2min = 10min 으로 이 정도면 충분해보인다. 이 이상 문제가 있다면, 이번과 같은 사태이므로 정상화된 것을 확인하고 관리자페이지에서 작업하자.