search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.85k stars 355 forks source link

大佬，微调完成后，要想基于微调后的版本，继续微调，你们一般是怎么弄的？ #98

Closed cywjava closed 1 year ago

cywjava commented 1 year ago

大佬，微调完成后，在chekpoint里，挑选了一个比较好的pt， 下次我想基于微调后的这个pt，继续微调，你们一般是怎么弄的？

reborm commented 1 year ago

同问，大佬有解决方法吗，同样有这样的需求

yuanzhoulvpi2017 commented 1 year ago
  1. lora的参数和原来的模型参数合并，可以去搜索一下：merge lora model
  2. 然后就和之前一样了。
worm128 commented 9 months ago
  1. merge lora model

可以lora模型和lora模型之间的合并吗，不合并基础模型

yuanzhoulvpi2017 commented 5 months ago

不可以的哦，只能先吧lora和base合并，然后再合并新的lora