QLoRA报错expected scalar type Half but found Float

hiyouga / ChatGLM-Efficient-Tuning

Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调

Apache License 2.0

3.66k stars 471 forks source link

Closed wangweikang1229 closed 1 year ago

wangweikang1229 commented 1 year ago

在仅设定--quantization_bit 4时训练会报这个错，在设定--quantization_bit 4且设定--fp16时训练不会报这个错。请问quantization_bit是要和fp16同时设置上吗？

hiyouga commented 1 year ago

同时加