19-NIPS-Fast Structured Decoding for Sequence Models

[wangqiangneu]

简介

把CRF引入到NAT中. 之前的大部分工作，都是在decoder的输入端做文章，搞各种确定性的或latent的z帮助译文生成. 这篇的idea是把CRF做sequence labeling的思路引过来，因为NAT一个很明显的问题就是相邻词之间很容易repeat，很适合CRF中的transition matrix的发挥。也就是说在生成译文时，除了考虑每个位置的score外，还要考虑label之间的transition的情况，自然就消灭了很多明显译文有问题的情况。但是naive的transition matrix很大(V x V)，没法搞，就做了low-rank和beam pruning近似，最后又可以根据相邻位置的hidden state动态生成transition matrix. 做法很自然

• 有意思的点
  • NAT-CRF训的时候需要用已训练好的NAT模型做初始化。要不然感觉beam那块估计的很烂，训练起来收敛会很慢？
  • 最好结果是rescoring 19，每次会产生19个不同长度的candidate，再拿AT模型打分

论文信息

• Author: MSRA
• Paper
• Code目前是空的

总结

• 类似的思路其实自己也想过，还是执行力不够呢，idea很廉价，做出来才是硬道理
• 这篇还是开阔了一个做NAT的新思路，就是在decoder的输出端做文章。之前还有一篇是在decoder的top上加一层AT做decoding，那个感觉还是不精致