search

mark1879 / Baichuan-13B-Finetuning

Baichuan-13B 指令微调
89 stars 9 forks source link

QLora 微调后，如何int4量化部署？ #13

Open maxisheng opened 1 year ago

maxisheng commented 1 year ago

QLora 微调后，运行bash.sh 报错。一块3090，24G卡。