微调对硬件有什么要求？

OpenMOSS / MOSS

An open-source tool-augmented conversational language model from Fudan University

https://txsun1997.github.io/blogs/moss.html

Apache License 2.0

11.9k stars 1.14k forks source link

Open zhonglin516 opened 1 year ago

zhonglin516 commented 1 year ago

对GPU有什么要求，8张3090的可以进行微调？

mengban commented 1 year ago

除了全参微调其他效率微调够够的

lhtpluto commented 1 year ago

对GPU有什么要求，8张3090的可以进行微调？

显存不足，参考https://github.com/OpenLMLab/MOSS/issues/189

可以把DeepSpeed Offload到CPU上，这样你需要至少额外290GB的内存