Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 422 forks source link

scripts中不同训练脚本的差异与训练效果的问题 #207

Open FURYFOR opened 1 year ago

FURYFOR commented 1 year ago

请问在scripts中的finetune.sh,finetune_continue.sh,finetune_others_continue.sh的训练脚本有什么具体的不同吗?可以详细说说吗?如果要进行垂直训练,最好使用哪个呢?

Facico commented 1 year ago

readme应该有说这几个脚本的不同吧

niuhuluzhihao commented 1 year ago

@Facico README中说的还是比较清楚的。但是有一个疑问,这边用finetune_others_continue.sh是基于其他数据集继续微调,相当于用您这边已经训练好的lora模型,即LLAMA+你的lora模型+我的数据 ,然后训练得出结果。finetune.sh看样子是直接使用LLAMA模型进行微调,即LLAMA+我的数据,然后结合lora方法,训练得出结果。感觉区别只是在于是否使用了你们的lora。不清楚自己理解的是否正确?实际上,这两者有什么区别呢?直接用你们训练好的lora+finetune_other_continue.sh是否是应该更好.呢?为什么还要区分一下是否是额外的数据集呢,感觉对于finetune.sh而言,我的数据也相当于额外的数据呀。麻烦大佬指导一下?