Closed louyj136 closed 2 years ago
赵淼您好! 感谢百忙之中抽空查看我的邮件。 最近我在用开源工具ASV-subtools做一些声纹识别的研究。其中碰到了一个小问题想请教一下。 我目前用runResnetXvector.py的脚本训练resnet网络模型。在默认的参数下模型已经训练完毕了。查看loss曲线和acc曲线都比较正常。然后我把之前的softmax损失函数替换成am-softmax损失函数,把超参数m设置为0.3,同时用退火算法,算法会慢慢从softmax损失函数过度到am-softmax损失函数。这样的改动,导致模型在训练时的acc降到了70%,损失函数出现了先下降后上升的趋势。如果把超参数m设置为0.1,从acc曲线看,模型收敛的速度会快很多。根据这种现象,我有三个疑问想请教一下: (1)从结果上看,超参数m大小似乎对模型的性能影响是很敏感的,不知道这是不是正常的现象。 (2)理论上讲,am-softmax可以使类间分得更开,从而应该比softmax损失函数有着更高的acc,但从附件上的图看,准确率变得低了很多,损失函数也在下降后又急速上升,这种现象是否是正常的? (3)有没有什么好的方法能够在am-softmax损失函数下加快模型的收敛速度? 期待您的回信。 祝好!--------------------------------------------------------------------------
楼一杰你好, 总的来说,使用AM-softmax的时候,有一些参数需要注意。首先除了打开这个loss外,要考虑一下最后一层是否保留bn和relu,以及use_step的参数区域是否要使用渐变增加margin的策略。基于此,就你的疑问,我的理解如下: (1)m作为惩罚,对模型训练是比较敏感的,太大可能导致收敛的问题,训练不好就会影响性能。另外一个是,如果你没有去掉最后一层relu,那么分类空间会小得多(非负意味着仅在第一象限),此时m更不适合取得太大。一般我们取0.2,仅供参考。 (2)关于acc的对比上,其实没有绝对的正比关系,acc更多的要考虑过拟合问题来审视。同时,应该以valid set的acc进行对比,trainset的acc对比意义会少很多。损失函数急速下降上升,可能是因为你画的trainset的loss,因为trainset的loss计算有惩罚的部分(要想获得真实loss,需要重复计算,这个一般不考虑,费时间),而惩罚在不断增加,所以这个loss是不可靠的,或许你可以看看validset。 (3)AM-softmax损失本身可以一定程度上加快训练速度,但是一般直接训练又可能会导致训练较差,所以默认选择比较鲁棒的渐变训练策略。在固定epoch的训练中,如果你发现后期AM比Softmax收敛的更差,往往这意味着你的惩罚太大,不能很好的收敛。另外,训练速度与优化器也有关系。 祝好!
赵淼您好! 感谢百忙之中抽空查看我的邮件。 最近我在用开源工具ASV-subtools做一些声纹识别的研究。其中碰到了一个小问题想请教一下。 我目前用runResnetXvector.py的脚本训练resnet网络模型。在默认的参数下模型已经训练完毕了。查看loss曲线和acc曲线都比较正常。然后我把之前的softmax损失函数替换成am-softmax损失函数,把超参数m设置为0.3,同时用退火算法,算法会慢慢从softmax损失函数过度到am-softmax损失函数。这样的改动,导致模型在训练时的acc降到了70%,损失函数出现了先下降后上升的趋势。如果把超参数m设置为0.1,从acc曲线看,模型收敛的速度会快很多。根据这种现象,我有三个疑问想请教一下: (1)从结果上看,超参数m大小似乎对模型的性能影响是很敏感的,不知道这是不是正常的现象。 (2)理论上讲,am-softmax可以使类间分得更开,从而应该比softmax损失函数有着更高的acc,但从附件上的图看,准确率变得低了很多,损失函数也在下降后又急速上升,这种现象是否是正常的? (3)有没有什么好的方法能够在am-softmax损失函数下加快模型的收敛速度? 期待您的回信。 祝好!--------------------------------------------------------------------------
楼一杰你好, 总的来说,使用AM-softmax的时候,有一些参数需要注意。首先除了打开这个loss外,要考虑一下最后一层是否保留bn和relu,以及use_step的参数区域是否要使用渐变增加margin的策略。基于此,就你的疑问,我的理解如下: (1)m作为惩罚,对模型训练是比较敏感的,太大可能导致收敛的问题,训练不好就会影响性能。另外一个是,如果你没有去掉最后一层relu,那么分类空间会小得多(非负意味着仅在第一象限),此时m更不适合取得太大。一般我们取0.2,仅供参考。 (2)关于acc的对比上,其实没有绝对的正比关系,acc更多的要考虑过拟合问题来审视。同时,应该以valid set的acc进行对比,trainset的acc对比意义会少很多。损失函数急速下降上升,可能是因为你画的trainset的loss,因为trainset的loss计算有惩罚的部分(要想获得真实loss,需要重复计算,这个一般不考虑,费时间),而惩罚在不断增加,所以这个loss是不可靠的,或许你可以看看validset。 (3)AM-softmax损失本身可以一定程度上加快训练速度,但是一般直接训练又可能会导致训练较差,所以默认选择比较鲁棒的渐变训练策略。在固定epoch的训练中,如果你发现后期AM比Softmax收敛的更差,往往这意味着你的惩罚太大,不能很好的收敛。另外,训练速度与优化器也有关系。 祝好!