Open chenglu66 opened 1 year ago
我自己继续预训练,采用loara方法,训练参数大约在1千万,120w条数据,训练3轮,发现loss降低很少,始终维持在2.2几的样子,想问下这个正常吗?因为我之前没有NLP的经验。
请问您找到原因了吗
遇到的相同的问题,loss在2.3左右震荡
Required prerequisites
Questions
我自己继续预训练,采用loara方法,训练参数大约在1千万,120w条数据,训练3轮,发现loss降低很少,始终维持在2.2几的样子,想问下这个正常吗?因为我之前没有NLP的经验。
Checklist