[LR, Optimizer] Sweep 결과 공유

[Dongwoo-Im]

Background

더 좋은 LR과 Optimizer를 찾기 위함

Content

🔵 exp37 LR 0.0001 Adam CV 6315 🔴 exp38 LR 0.0001 AdamW CV 6258 🟢 exp39 LR 0.0001 AdamP CV 6305 🟡 exp40 LR 0.00005 Adam CV 6425 🟣 exp41 LR 0.00005 AdamW CV 6426 🟠 exp42 LR 0.00005 AdamP CV 6450 (best CV)

Details

• LR이 낮을수록 확실히 안정적으로 학습이 된다는 느낌을 받았고, CV 점수도 잘 나오는 것 같습니다. (미제출)
• 저의 경우엔 AdamP가 CV 성능이 가장 좋긴 했지만, 큰 차이는 아니라고 생각합니다. 적절한 LR을 찾는 것이 더 중요할 것 같습니다.
• AdamP는 pip3 install adamp 로 간단하게 설치하실 수 있습니다. github : https://github.com/clovaai/AdamP