Open wuzechuan opened 1 year ago
如题,前阵看篇论文有提供qlora的效果也是不差的,训练的成本可以进一步降低。不知道大佬是否有计划可以顺便支持下这个训练方式
我印象中用qlora只需要把bitsandbytes更新下,开启load_it_4bit=True就可以
load_it_4bit=True
如题,前阵看篇论文有提供qlora的效果也是不差的,训练的成本可以进一步降低。不知道大佬是否有计划可以顺便支持下这个训练方式