search

ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

除了lora还有没有其他办法可以降低训练时显存的占用量 #184

Open leoluopy opened 1 year ago

leoluopy commented 1 year ago

除了lora以及减小模型，还有没有其他办法可以降低训练时显存的占用量？ 哪些实践方法是比较有效的？

ssbuild commented 1 year ago
  1. 冻结 N 层 修改models.py global_num_layers_freeze
  2. ptuning v2
  3. lora
  4. 正常微调 int8 加速，参考readme
leoluopy commented 1 year ago

ptuning v2 和 lora 以及 冻结 N 层， 从经验上讲谁效果更好，或者哪些场景下更适合哪种方法 ？