search

yeyupiaoling / MASR

Pytorch实现的流式与非流式的自动语音识别框架，同时兼容在线和离线识别，目前支持Conformer、Squeezeformer、DeepSpeech2模型，支持多种数据增强方法。
Apache License 2.0
572 stars 100 forks source link

加入自己数据，训练时候经常出现梯度爆炸 #6

Closed shenyingying closed 3 years ago

shenyingying commented 3 years ago

飘零大佬，不知道你用这个网络训练自己的数据集没，我在训练的过程中经常出现梯度爆炸现象，用开源数据集也会出现梯度爆炸！

yeyupiaoling commented 3 years ago

@shenyingying 不用担心，训练 练着练着就好了

shenyingying commented 3 years ago

@shenyingying 不用担心，训练 练着练着就好了

但是有时候会自己崩溃，你也会出现nan吗？

yeyupiaoling commented 3 years ago

@shenyingying 如果是出现nan就不对了，出现inf还可以自动恢复。 你有没有修改过参数，例如batch size

shenyingying commented 3 years ago

@shenyingying 如果是出现nan就不对了，出现inf还可以自动恢复。 你有没有修改过参数，例如batch size

我的batch_size 设置的比较大 128/256

yeyupiaoling commented 3 years ago

@shenyingying 学习率呢？有没有调，可以适当减小 学习率。另外要看看你的数据集有没有错误

yeyupiaoling commented 3 years ago

没有问题我就关闭issue了