[Experiment] Optimizer

[leehyeonjin99]

실험

실험 목표

• OCR task에 알맞는 Optimizer 및 Learning rate에 대해서 찾을 수 있다.

동기

• 학습 성능에 있어서 가장 큰 구성 요소는 Model + Data + Optimizer + Loss Function + Scheduler + Augmentation 로 볼 수 있다.
• 이 중 오늘은 최적의 Optimizer를 찾고, 해당 Optimizer에 적합한 Learning Rate를 찾아보고자 한다.

환경 및 과정

• optimizer를 설정하기 위해서 torch, adamp, madgrad 라이브러리를 사용하였다.
  • torch 1.7.1 : SGD, ASGD, Adam, AdamW, Adamax
  • adamp : ADAMP
  • madgrad : MADGRAD
• optimizer 실험을 완료한 후 가장 적은 Mean Loss르 갖는 optimizer를 선정한다.
• 해당 optimizer에 대하여 다양한 Learning Rate를 적용하여 가장 낮은 Mean Loss르 갖느 Learning Rate를 찾아 앞으로의 실험에서 고정한다.

📎 성능 평가 지표

• Mean Loss = epoch_loss / num_batches
  • epoch_loss : 각 epoch마다 모든 batch의 loss를 합한 값

📎 optimizer 적용 방법

from importlib import import_module
import madgrad
import adamp

if optimizer in dir(torch.optim):
    opt_module = getattr(import_module('torch.optim'), optimizer)
    optimizer = opt_module(model.parameters(), lr=learning_rate)
elif optimizer == 'MADGRAD':
    optimizer = madgrad.MADGRAD(model.parameters(), lr=learning_rate)
elif optimizer == 'AdamP':
    optimizer = adamp.AdamP(model.parameters(), lr=learning_rate)

결과