20-ACL-On the Inference Calibration of Neural Machine Translation

[zhajiahe]

简介

论文分析了机器翻译在推理时的校准Calibration问题：即模型输出分布与结果不吻合，存在差距。 文章使用的评价指标是ECE(期望校准误差)，发现训练的ECE远远小于推理ECE,说明缩小训练和推理之间的差距需要做很多工作。 论文分析了一些NMT在语言学方面的现象：
Frequency, Position, Fertility, Syntactic Roles, Word Granularity ：
模型在这几个方面会出现一些over-estimation和under-estimation的现象，值得进一步关注。

• low-frequency --> over-estimation
• left position --> under-estimation
• (fertility <=1) --> over-estimation || (fertility > 1) --> under-estimation
• content token (Noun,Verb,Adj) --> miscalibration
• subword子词 --> miscalibration 旨在解决NMT模型校准问题，最后给出了两个解决方案：
  label smooth && larger model size

  贡献

• 当well calibrated之后，可以开很大的Beam(100)，这点有意思
• 给出了一些语言学方面的解释，更具有说服力

  不足

• 这个graduated label smoothing虽然很大程度缓解了问题，但BLEU提升不明显。而且under-estimation反而变多了？？
• 增加模型容量不能降低ECE，那么如何证明翻译质量提升和ECE相关呢？

  总结

• 个人第一次对Calibration有了一点点理解，但是还有点模糊，似乎就是在讲我们训练的模型能否很好的拟合数据，不能over-estimate,也不能under-estimate。
• 做科研还是要向人家学习，先有问题，然后分析，再有解决方案。而不是瞎做实验，提前预设结论。
• 还是学习一下分析思路和分析工具，不能停留表面。

  论文信息

• Author: THU && Tencent AI
• Paper
• Code

[zhajiahe]

作者给了计算ECE的代码，但是目前还没有graduated label smooth的代码