Closed hundredeuk2 closed 1 year ago
1번 세부사항. lr scheduler 적용 중.
from torch.optim.lr_scheduler import CosineAnnealingWarmRestarts optimizer = AdamW(model.parameters(),lr = 5e-5, weight_decay=0.02, eps =1e-8) scheduler = CosineAnnealingWarmRestarts(optimizer, T_0=10, T_mult=2, eta_min=1e-7)
lr : 1e-5 이상 크면 학습보폭이 너무 커서 logit값이 수렴되지않고 폭팔하는 것으로 확인
목표
훈련 중 Loss 값이 튀는 현상을 발견![image](https://user-images.githubusercontent.com/73874591/212938471-985b7bd2-ee95-472a-afcb-679c5460f90a.png)
처음엔 Dataset Cache문제인 줄 알았으나, VScode 미실행시에도 발생하는 경우가 생김 model weight 초기화 문제는 아니라고 판단이됨
세부사항