search

0aqz0 / SLR

isolated & continuous sign language recognition using CNN+LSTM/3D CNN/GCN/Encoder-Decoder
198 stars 41 forks source link

training continuous with ctc loss? #4

Closed PanXiebit closed 4 years ago

PanXiebit commented 4 years ago

你好，

请问你有试着用ctc loss来训练 continuous SLR 吗？我的模型很简单，就是 pretrained EfficientNet + self-attention(3 layer) + linear + ctc loss. 我是在RWTH-PHOENIX- Weather-2014T 这个数据集上训练的，然后发现loss完全降不下去，维持在5.2左右，而且在解码的时候只预测blank。个人感觉应该不是我的ctc loss使用问题，因为我之前用ctc loss训练machine translation是没有问题的。想知道你有训练过这个数据集和用ctc来训这个模型吗？

0aqz0 commented 4 years ago

我个人没试过诶，只是看到过这种方法 尝试检查一下输入输出吧，或者是不是学习率设太高了