search

git-cloner / llama2-lora-fine-tuning

llama2 finetuning with deepspeed and lora
https://gitclone.com/aiit/chat/
MIT License
157 stars 14 forks source link

MultiGPU+Deepspeed+4bitQlora #9

Open yaoching0 opened 10 months ago

yaoching0 commented 10 months ago

非常感谢作者~ 我目前的情况是，当我使用8张GPU+deepspeed zero3+4bit qlora就会报错 和这个一样:https://github.com/microsoft/DeepSpeed/issues/3775 RuntimeError: expected there to be only one unique element in <generator object Init._convert_to_deepspeed_param..all_gather_coalesced.. at 0x7f7019a30890> 在这个讨论串中，作者尝试修改但仍然报错，怀疑deepspeed是不是目前不支持4bit qlora 但是我如果只用一个gpu跑4bit qlora+deepspeed就不会报错 一旦使用多gpu就会跳上面的错误 我看您有提供4bit的量化finetune，但实际默认的参数是使用8bit 想请问是否用成功用两张gpu+deepspeed+4bit qlora成功finetune过？

little51 commented 10 months ago

在https://github.com/git-cloner/Llama2-chinese，两张GPU，8bit微调成功过。4bit的没试成功过。