模型训练的问题？ 模型出现过拟合

[mawenju203]

使用的lora微调数据的相关参数：数据量为6k； loss 在 lr =1e-4的条件下，选择 loss= 0.03的checkpoint模型；epochs=50； 采用的训练脚本：train_sft.sh

问题. 出现过拟合， 神鹰航空的A330-200客机将执飞哪条航线？ 神鹰航空的A330-200客机执飞航线是？ 针对上面的问题，微调模型给出的结果含义差异很大； 神鹰航空的A330-200客机将执飞哪条航线？（训练数据）可以给出完全吻合的给定的答案； 神鹰航空的A330-200客机执飞航线是？（测试数据） 给出不符合结果的答案

除了修改训练的参数外，还有那种方式呢？修改模型哪些代码可以优化结果呢

[hiyouga]

数据太少

[mawenju203]

@hiyouga 问题一： 方式一：是否可以选择 train_sft_with_dev_set.sh 这个训练脚本训练，效果泛化能力会不会好点； 方式二：增加问题的表述的多样性这种方式来增加lora训练的数据量，会不会好一些；

这两个方式那个效果更明显，还有其他的方式吗？

问题二： train_sft_with_dev_set.sh 脚本里面的训练数据和验证数据是同一个文件，那怎么知道那些是验证数据，那些是测试数据呢？