RuntimeError: Error building extension 'fused_adam'

liucongg / ChatGLM-Finetuning

基于ChatGLM-6B、ChatGLM2-6B、ChatGLM3-6B模型，进行下游具体任务微调，涉及Freeze、Lora、P-tuning、全参微调等

2.63k stars 292 forks source link

Open LeFuGang opened 8 months ago

LeFuGang commented 8 months ago

deepspeed==0.12.6 pytorch==1.13.0+cu116 cuda版本11.0 用的模型是glm3，单卡的

请问这个问题怎么处理呀，能帮忙解决下吧，谢谢了

liucongg commented 8 months ago

应该是cuda版本的问题，你要升级到11.6

chenchen333-dev commented 6 months ago

应该是cuda版本的问题，你要升级到11.6

我CUDA 12.0也是这个问题

nothing7744 commented 3 days ago

应该是cuda版本的问题，你要升级到11.6

我CUDA 12.0也是这个问题

cuda12.2也是这个问题

nothing7744 commented 2 days ago

我配置了和和作者完全相同的环境，除了deepspeed的。我使用cuda12.2驱动，同时deepspeed==0.12.2.（我无法成功下载0.11.1）但是依然出现了这个bug