20-ACL-Lexically Constrained Neural Machine Translation with Levenshtein Transformer

[wangqiangneu]

简介

用Lev Transformer来做constrained decoding。动机是，之前的工作主要两个流派，一种是从训练数据着手（placehold, code-switch），但是不保证terminology一定出现；另一种是改变beam search，能很好保证terminology出现，但是解码速度下降严重，e.g. x3。这篇工作比较新颖的是把NAT的思路引了进来，其实方法很简单，就是在Lev上增加了两个调整：(1) 初始翻译时，在基础上，把constrain list直接插到target中。(2)因为constrain可能是多词的，为了阻止后面的del和increase操作改变constrain，强制阻止了对constrain的del或者increase（用一个mask来标记哪些词是constrain的）。其余过程就是标准的Lev了。由于disallow del和increase，因此能保证100%的terminology的出现

一些常识

• terminology dictionary一般用wiktionary
• 貌似公开的test set是WMT'17 test set的子集，具体参考Dinu 19
• 秀bleu的话还是得在with constrain的test set。在full test set上的话整体bleu也就0.1的提升
• 除了bleu，还得秀term usage rate，看看多少比例的constrain体现在了最终的输出中

论文信息

• Author: Rakuten Institute of Technology Singapore
• Paper
• Code

总结

• 很简单直接的工作，引入NAT的思想是好事
• 但是这种做法也强制要求了baseline model是NAT的，在performance上比AT的还是差
• 作者也很诚实的提到了，disallow del会导致constrain无法reorder。他解释大部分情况下source和target之间的constrain是mono的（对于语法结构相似的语种），但像中-英这种可能就不适用
• 还有一点就是，似乎所有的constrain decoding的工作都没有提怎么解决一个source terminology对应多个target terminology的问题