20-AAAI-Minimizing the Bag-of-Ngrams Difference for Non-Autoregressive Neural Machine Translation

[wangqiangneu]

简介

在NAT里引phrase-level loss (ngram), 通过ngram来隐式建模target token之间的依赖。具体做法上就是整个滑动窗口，累计ngram出现的概率

论文信息

• Author: Wechat
• Paper
• Code

总结

• 我不是很喜欢finetune来finetune去的方法，实验结果看着也比较一般
• 但巧妙的把ngram作为loss（不用heavy sampling），这个思路不错
• 但又有点跟motivation矛盾的是，n=2的时候效果最好，n变大反而性能掉，那到底是不是ngram起作用了呢？从这个角度讲，又感觉跟semi-AT那个有点像，只不过这里不考虑ngram出现的位置