模型收敛慢

[YovRen]

学长，我修改了一下代码中的 dataloader 后用模型来训练一个45类的语音语种识别任务，

• 用代码中原始的AAMsoftmax，loss在第一轮从 13.多 减到 9.多 后每轮只减少0.2左右，acc开始几轮也只有不到1%
• 把AAMsoftmax换成 fc+crossentropy 后效果变好，acc大概是6->9->12->15这样的速度
• 把AAMsoftmax换成 LogAAMsoftmaxWrapper（speechbrain的方法，即把代码中的ce换成log+KLDivLoss）后效果变好，acc大概是5->6->8->10这样的速度

我想请您帮忙解答几个问题：

• 对于不同的任务，需要更换各自合适的损失函数吗，为什么这几个损失函数效果都不太出众？
  • 对于这种类别较少的任务，在网络里加一层fc+bn实现分类 和 在网络外面用F.linear实现分类 有什么区别吗？
• 现在准确率只能达到65%就饱和了，我还可以尝试一下怎么提升准确率？

[TaoRuijie]

AAMsoftmax的acc不能这么看，请看一下AAMsoftmax的原离和公式，看loss就好了 fc + crossentropy acc会很快 正常

出众不是看分类的training acc的 建议细细看下各个共识的原理和区别“ https://www.bilibili.com/video/BV1tQ4y1i7BR/ 在网络外加，类别数不应该影响模型的embedding shape 训练吗？这。。难回答，但你不应该太关注training acc... training loss重要...

[YovRen]

我去看了一遍视频，理解了acc的问题，但是收敛很慢的问题要怎么解决啊，没思路o(╥﹏╥)o

• 设置batch_size=4, lr=0.0001的话是下面的结果
• 设置batch_size=64, lr=0.001的话是下面的结果

[TaoRuijie]

这。。我无法解决啊 不好意思

[aabbccn]

我去看了一遍视频，理解了acc的问题，但是收敛很慢的问题要怎么解决啊，没思路o(╥﹏╥)o

• 设置batch_size=4, lr=0.0001的话是下面的结果

• 设置batch_size=64, lr=0.001的话是下面的结果

  你好，请问现在解决模型收敛慢的问题了吗，是怎么解决的呢