20-ACL-Learning to Recover from Multi-Modality Errors for Non-Autoregressive Neural Machine Translation

[wangqiangneu]

简介

加强版的semi-NAT，也是发现需要AT+NAT结合才行。做法是，把一个句子划分成N个segment，每个segment内部是autoregressive的（除了看自己segment的prefix，还可以看其他segment的prefix，这很重要，context大了很多）。所谓的recover体现在两方面：1. 每个segment可以dynamic termination，这样可以在生成的过程中，一边看别的segment的内容，一边决定自己还需要生成了不，避免repeat；2. 对方法1的弥补，方法1是在翻译过程中体现的，但如果一上来就重复了(比如每个segment的第一个词）这种错误蔓延到后面也不好，所以又搞了个delete mechanism，就是允许delete一些segment。至于训练方法的话，都需要做一些data augmentation在里面

有意思的点

• 注入训练delete的数据时，如果每个sample都包含delete，就很麻烦，会导致训练后的模型解码时会故意生成重复的segment再delete，所以实际灌数据时以一定概率p加
• segment=2效果还不错，但感觉没太发挥出来segment的优势

论文信息

• Author: WeChart
• Paper
• Code

总结

• 思路不错，引入segment和AT也是我感兴趣的做法
• 不知在batch大了之后speedup如何？batch=1完全虚高
• 综合ACL其他几篇看，NAT还是得和AT结合一些会更有潜力
• 虽然名字里recover，但感觉还是挺隐式的，我以为是像auto-postprocessing那样