Open zhonglin516 opened 1 year ago
对GPU有什么要求,8张3090的可以进行微调?
除了全参微调 其他效率微调够够的
显存不足,参考https://github.com/OpenLMLab/MOSS/issues/189
可以把DeepSpeed Offload到CPU上,这样你需要至少额外290GB的内存
对GPU有什么要求,8张3090的可以进行微调?