20-ICML-Non-Autoregressive Machine Translation with Disentangled Context Transformer

[wangqiangneu]

简介

对CMLM的改进，两个点： 1. CMLM训练时只能训一部分subset (跟bert一样，从这个角度看，跟#25加速bert训练的目标是一致的）； 2. CMLM的解码算法比较笨，启发式且必须解码到规定的最大迭代次数上。

DisCo的做法：

• 1. 训练时让每个词都作为predict目标，对于每一个词所见到的东西 Y_obj是不一样的，为了让self-attention一次性就能计算不同的Y_obj（而不是针对每一个词算一遍），改动了self-attention计算的方式（把q独立出来）。但是这么做在第一层好使，stack layer之后，还是会泄露每个词自己的信息（这跟ACL 20的一篇做法几乎一样，叫soft-mask啥的来着，想不起来了）。为了解决这个问题，把key和value只从(word + pos embedding)上获取，而不再是当前层的输入x （soft-mask是stacked layers共享来避免）。总之，这么搞完的模型能够针对每个词使用不同的context。
• 2. Easy-first的解码方法。CMLM上对于每个词而言，Y_obj (也就是context)是一样的，根据confidence选择top N；而easy-first里，每个词的Y_obj是动态的，方法也很简单，就是根据每个位置的top1的概率，进行排序（看哪个位置easy)，对于位置i，所以比他easier的其他位置都作为他的context。换句话说，让i相信所有比他confidence高的结果。这么解码可以提前terminate如果两次迭代的easy order是一样的。

有意思的点

• DisCo因为可以为每个词设置不同的context，因此很容易变成AT的方式训练
• DisCo在使用小batch size训练时效果更好（正常呀，更多的词参与训练了不是）
• 一个AT模型decoder端如果使用contextless (key和value从 input embedding获取），性能略掉0.2-0.4
• 如果都使用Mask-Predict的解码方式，DisCo不如CMLM，但用easy-first能接近或略超CMLM (迭代次数更少，Discro~=5，CLML=10）

论文信息

• Author: Facebook
• Paper
• [Code](https://github.com/ facebookresearch/DisCo)

总结

• 很针对CMLM，做的点没问题，就是觉得跟改进bert的相关工作很像
• easy-first的解码方式我觉得make sense