19-EMNLP-Jointly Learning to Align and Translate with Transformer Models

[wangqiangneu]

简介

在Transformer中引入word alignment的任务，目标不是提高翻译性能，而是在翻译性能不掉的情况下提高alignment accuracy。做法很简单，翻译任务decoder依然mask future，但是对齐任务不能还mask future (因为它并不知道当前词自身是谁，因为还没预测出来呢），所以他就不用mask再走一遍decoder。

• 有意思的点
  • Layer Average Attention的结果显示，倒数第二层的对齐效果最好，而不是最后一层。所有层都平均效果并不好（因为前几层的对齐很差，平均一下反而拖了后腿）
  • 基于BPE做giza++，效果并不比基于word差，反而略好一点。BPE对齐的策略是，只要有一个subword对齐上了，就认为词之间是对齐的

论文信息

• Author: Apple
• Paper
• Code

总结

• 感觉实验设置上看着有点怪，其他到没啥，并没有给翻译任务带来提升