CosineAnnealingWarmupRestarts added

[Kingthegarden]

주요 사항

1. CosineAnnealingWarmupRestarts Class 추가

• 최근 좋은 성능을 보이는 CosineAnnealingWarmupRestarts Class를 추가하였습니다.
• model_paramd에서 scheduler를 "CosineAnnealingWarmupRestarts" 설정하시고 사용하시면 됩니다.
• 현재 실험 중인 min_lr, max_lr로 설정해두었으며, 변경하시면서 사용하시면 됩니다.

  2. CosineAnnealingWarmupRestarts Parameter

• optimizer (Optimizer): Wrapped optimizer
• first_cycle_steps (int): First cycle step size
• cycle_mult(float): Cycle steps magnification. Default: -1
• max_lr(float): First cycle's max learning rate. Default: 0.1
• min_lr(float): Min learning rate. Default: 0.001
• warmup_steps(int): Linear warmup step size. Default: 0
• gamma(float): Decrease rate of max learning rate by cycle. Default: 1
• last_epoch (int): The index of last epoch. Default: -1

[HyeonhoonLee]

제가 기존에 변경하였던 scheduler와 hyperparameter가 어떤 부분이 다른가요? 만약 같다면, 이전에 제가 수정하였던 class가 torch 내장 optimizer를 상속하고 있기 때문에 computational efficiency가 더 높을 수 있겠습니다.

[Kingthegarden]

대표적으로, first_cycle_steps와 같은 것입니다. 현훈님 스케쥴러에서는 고정된 파라미터 값으로 configs에서 입력 받지만, 새로 추가된 스케쥴러는 데이터셋, 배치, 에폭을 기준으로 계산하여 적용합니다. 제가 제안드린 스케쥴러 또한 내장 optimizer를 사용하고 있습니다. model.py에서 비교해보시면 좋겠습니다.