20-ACL-A Study of Non-autoregressive Model for Sequence Generation

[wangqiangneu]

简介

对NAT进行分析，主要解决了如何measure dependency among target tokens。方法其实不难，就是用mix attention的方式，把source tokens和target tokens一起attention起来，简单粗暴，用attention weight就可以知道是source context更重要一点还是target context更重要一点。然后就在test set上 average 所有的masked target tokens就可以。但这个工作不仅仅在NMT上搞，还在ASR和TTS上也都搞了，显得饱满了。有了这个measure，就可以知道：不同task对target dependency的依赖程度，knowledge distillation的作用，以及alignment的作用

有意思的点

• 就target side dependency而言，ASR > NMT > TTS，挺符合直觉的，虽然我不确定不同任务之间的这个指标是否有可比性

论文信息

• Author: Zhejiang University
• Paper

总结

• 亮点是怎么度量dependency，用mix-attention的方式很巧妙。临时想到，似乎也可以在original Transformer上加一个gate，来接受target context和source context
• 感觉没有太意料之外的发现吧