Open leoluopy opened 1 year ago
除了lora以及减小模型,还有没有其他办法可以降低训练时显存的占用量? 哪些实践方法是比较有效的?
ptuning v2 和 lora 以及 冻结 N 层, 从经验上讲谁效果更好,或者哪些场景下更适合哪种方法 ?
除了lora以及减小模型,还有没有其他办法可以降低训练时显存的占用量? 哪些实践方法是比较有效的?