qlora微调训练随机性

shuxueslpi / chatGLM-6B-QLoRA

使用peft库，对chatGLM-6B/chatGLM2-6B实现4bit的QLoRA高效微调，并做lora model和base model的merge及4bit的量化（quantize）。

350 stars 46 forks source link

Open wbchief opened 9 months ago

wbchief commented 9 months ago

您好，请问你遇到过在环境代码完全一样的情况下，qlora在两台相同显卡的机器上训练结果不一致的问题嘛，ptuning方式训练结果很稳定，qlora每次结果都不一样