Closed jianghushinian closed 1 year ago
GTX 1070 的机器中间有报错:RuntimeError: expected scalar type Half but found Float
我参考了这位网友的回答:https://github.com/Facico/Chinese-Vicuna/issues/210#issuecomment-1575984136,还是不行,切换了 bitsandbytes 版本就不报错了,但是效果不好。
此外,我在另一台 v100 机器上测试这个 LoRA 模型,效果依然不好。
找到了,应该还是显卡问题,参考这个:https://github.com/Facico/Chinese-Vicuna/issues/39
两张 T4 显卡。
我训练的是一个「对对子」的模型,训练命令如下:
即共 1w 条数据,2k 条测试集。
lora-Vicuna
目录下的 LoRA 模型拷贝下来:本地显卡:
NVIDIA GeForce GTX 1070
其中因为各种报错,
bitsandbytes
版本参考这两个 issue:https://github.com/TimDettmers/bitsandbytes/issues/134,https://github.com/TimDettmers/bitsandbytes/issues/179请问这个可能跟什么有关系?