Closed yincangshiwei closed 2 months ago
我想训练24G的大模型，好像还要设置一些参数，但页面上找不到，参数如下： lr_scheduler：warmup_stable_decay lr_scheduler_num_cycles lr_decay_steps 等等，应该还有。
我想训练24G的大模型，好像还要设置一些参数，但页面上找不到，参数如下： lr_scheduler：warmup_stable_decay lr_scheduler_num_cycles lr_decay_steps 等等，应该还有。