训练的模型后验为空的问题

wenet-e2e / wenet

Production First and Production Ready End-to-End Speech Recognition Toolkit

https://wenet-e2e.github.io/wenet/

Apache License 2.0

3.87k stars 1.03k forks source link

Closed yangsuxia closed 1 week ago

yangsuxia commented 1 month ago

单独使用6000w条基础数据训练模型没有问题，单独使用1200w条新增数据训练模型没有问题，但是将这些数据合在一起之后训练的模型loss值很高，看音频后验，全部都是空的，可能会是什么问题呢？

Dan1chu commented 4 weeks ago

Try reducing learning rate to 1/2, or increasing accum_grad to twice from current configuration.