[Exp] Update lr_scheduler - Githubissues

boostcampaitech3 / level2-data-annotation_cv-level2-cv-16

[부스트캠프 AI Tech 3기 / CV-16] 글자 검출 대회 Data Annotation (22.04.11 - 22.04.22)

1 stars 3 forks source link

[Exp] Update lr_scheduler #31

Closed sodabeans closed 2 years ago

sodabeans commented 2 years ago

Motivation 🤔

다양한 lr_scheduler 를 사용하면서 loss 비교
다른 hyperparameter는 고정하고 scheduler만 바꿔서 최적의 lr_scheduler 찾기

Key Changes 🔑

pytorch version 1.7.1 에서 제공하는 모든 scheduler 코드 작성
실험 안 해본 scheduler의 코드도 주석 처리해서 포함
가장 loss가 작게 나온 CosineAnnealingLR 코드 구현

To Reviewers 🙏

기존에 있던 scheduler 코드를 주석 처리해서 conflict가 생겼네요!
resolves: #12

yehyunsuh commented 2 years ago

Conflict due to difference in NNI and @sodabeans 's code.

Fixed the Pull Request to fit with the NNI develop branch code.