4张v100可以完成微调吗？

OpenMOSS / MOSS

An open-source tool-augmented conversational language model from Fudan University

https://txsun1997.github.io/blogs/moss.html

Apache License 2.0

11.93k stars 1.15k forks source link

Open wangyou0804 opened 1 year ago

wangyou0804 commented 1 year ago

作者你好，请问4张v100能够完成微调吗？该份代码是否支持int4微调？

lhtpluto commented 1 year ago

纯GPU微调，4张V100肯定不够用，显存不足

如在DeepSpeed里offload到CPU，可以；我用这个办法在一张48GB显存的机器上fp32\fp16微调成功，大约需要机器有额外300GB内存，int4微调我没试验过；

for1314ai commented 1 year ago

好问题，我也有这个疑问