BF16 PJT overview

[dylee-furiosa]

bf16 only

• model parameter, hidden rep, logit 모두 bfloat16 으로 계산
• logit bflaot16 -> float32로 casting 후 loss float32로 계산

mixed (bf16 + fp32)

• model parameter float32 -> bfloat 16으로 casting 후 hidden rep bfloat 16으로 계산
• logit bfloat 16 -> float32으로 casting 후 loss float32로 계산

fp32 only

• model parameter, hidden rep, logit, loss 모두 float32

[dylee-furiosa]

bf16 only, mixed(bf16 + fp32), fp32 only 실험 진행

wandb링크

[dylee-furiosa]

LoRA fine-tuning configuration

bf16 only

    --pure_bf16 --optimizer anyprecision --mixed_precision False --use_fp16 False \

bf16 + fp32 mixed precision

    --mixed_precision True --use_fp16 False \

fp32 only

    --mixed_precision False --use_fp16 False \

[dylee-furiosa]