search

yeyupiaoling / MASR

Pytorch实现的流式与非流式的自动语音识别框架，同时兼容在线和离线识别，目前支持Conformer、Squeezeformer、DeepSpeech2模型，支持多种数据增强方法。
Apache License 2.0
596 stars 106 forks source link

WenetSpeech数据集的训练参数 #33

Closed bird7code closed 2 years ago

bird7code commented 2 years ago

你好，想问一下对于WenetSpeech这样的数据集，epoch、batch、learning rate等训练参数应该如何设置比较好，scheduler需不需稍作修改。我目前使用的是epoch=60、batch=32、learning rate=5e-5，scheduler稍微修改了一下step_size=3, gamma=0.9。但是epoch在30到40的时候，模型的loss就差不多一直保持在22左右，cer保持在0.3左右

yeyupiaoling commented 2 years ago

如果使用评估程序，解码用集束搜索，效果怎样？

bird7code commented 2 years ago

如果使用评估程序，解码用集束搜索，效果怎样？

谢谢，目前还处于训练阶段，等训练完试一下集束搜索评估。现在是怕模型已经收敛了，不会再提升了，时间成本比较大

yeyupiaoling commented 2 years ago

使用eval.py评估程序，不需要等训练结束的，你可以直接指定模型评估，如果还要内存的话。 你看看VisualDL趋势图在怎么样，如果的确没有变化了，那可能需要考虑学习率，优化方法，或者是改变模型大小了。

bird7code commented 2 years ago

使用eval.py评估程序，不需要等训练结束的，你可以直接指定模型评估，如果还要内存的话。 你看看VisualDL趋势图在怎么样，如果的确没有变化了，那可能需要考虑学习率，优化方法，或者是改变模型大小了。

好的谢谢