Artiprocher
commented
3 months ago lora 训练中的一些参数可以调调看，例如 lora_rank 控制 lora 的参数量，lora_alpha 控制 lora 对模型的影响
Open luoan7248 opened 3 months ago
Artiprocher
commented
3 months ago lora 训练中的一些参数可以调调看，例如 lora_rank 控制 lora 的参数量，lora_alpha 控制 lora 对模型的影响
直接使用lora微调的权重后推理，原本的大模型能力好像没有了，我不知道是不是微调的效果不好，还是权重没有合并的原因。