solangii
commented
2 years ago - Lamb : 논문 읽고 적용가능할 지 판단하기 https://github.com/cybertronai/pytorch-lamb
- Cosine sceduler : 방법론 읽고 효과적일지 판단 & 적용하기 https://pytorch.org/docs/stable/generated/torch.optim.lr_scheduler.CosineAnnealingLR.html