search

LlamaFamily / Llama-Chinese

Llama中文社区，Llama3在线体验和微调模型已开放，实时汇总最新Llama3学习资料，已将所有代码更新适配Llama3，构建最好的中文Llama大模型，完全开源可商用
https://llama.family
13.66k stars 1.23k forks source link

AttributeError: 'DeepSpeedCPUAdam' object has no attribute 'ds_opt_adam' #351

Open qiankunlee opened 2 months ago

qiankunlee commented 2 months ago

AttributeError: 'DeepSpeedCPUAdam' object has no attribute 'ds_opt_adam' 我使用bash finetune.sh的时候一直出现上面这些问题，反复安装不同版本还是不对，请问如何解决这个问题？

3h2b commented 2 months ago

AttributeError: 'DeepSpeedCPUAdam' object has no attribute 'ds_opt_adam' 我使用bash finetune.sh的时候一直出现上面这些问题，反复安装不同版本还是不对，请问如何解决这个问题？

出现这个问题一般是你的pytorch和cuda版本不对应，需要进一步检查你的pytorh版本并寻找对应的cuda版本。 反复安装不对也可能是在更换版本时卸载不完全，可以找到cuda对应版本的pytorch后手动下载适配的torchversion等工具包