19-Arxiv-Guiding Non-Autoregressive Neural Machine Translation Decoding with Reordering Information

[wangqiangneu]

简介

把reorder引入到NAT中。基本思路是，训练时用监督的方式（从fast-align里抽）学习source to target的reorder模型（这块可以是AT，也可以是NAT，最后用的是1-layer GRU用AT的方式学）。把reorder后的源语词的embedding 加入到NAT的decoder上，加的方式有两种，discriminative 或者 non-discriminative，区别是是不是对embedding做weighted。

• 有意思的点
  • AT的方式做reorder module很有必要，用NAT会掉很多
  • non-discriminative的方法得用 discriminative训的模型做初始化，否则收敛很慢（总觉得这种用一个训练完的model做初始化，再argue比它效果好的招数很难看呢）

论文信息

• Author: Wechat
• Paper

总结

• 给NAT decoder引入更多的信息的一种方式，这是NAT的趋势，不管是discriminative还是latent variable都是同样的目标
• 降低NAT的难度/搜索空间
• table 1里的speed up不知道是在什么条件下测试的(cpu？gpu？beam? batch?)