LoRA微调和全参微调的时候总是会出现过拟合，在无法提高数据集大小的情况下，应该如何解决这个问题呢

[MemoryOldTime]

Reminder

• [X] I have read the README and searched the existing issues.

System Info

8张Ascend910A，在modelarts上运行代码

Reproduction

bash examples/train_full/train.sh

Expected behavior

我想要在某一专业领域实现微调，希望能够解决过拟合的问题

Others

无

[hiyouga]

混合通用领域数据

[MemoryOldTime]

混合通用领域数据

但这eval loss 不断从来没有下来过