bag of tricks

[greenare]

Warmup Scheduler
- hyperparmeter : multiplier, lr, epoch
batch_size에 비례해서 multiplier를 조정해줍니다.
lr : args로 주어진 lr
epoch : args로 주어진 epoch

Cuda amp autocast()

• FP16 FP32 auto precision을 시전합니다.

  두 옵션은 args 옵션으로 조정할 수 있습니다. default = True