19-WMT-APE at Scale and its Implications on MT Evaluation Biases

[wangqiangneu]

简介

自动后编辑模型(Auto Post-Edit)。也是一种利用target monolingual data的方法。把Y -> X'(利用y2x系统) -> Y'（利用x2y系统），构造出大量的(Y', Y)的平行数据。然后在已有译文的基础上，不看原文信息，直接通过后编辑模型转换翻译结果

• 有意思的点：
  • APE模型跟生成译文的模型无关，试了在wmt提交的系统上应用APE有正向效果
  • 认为APE模型处理过的译文会更像natural text，除了人工评价的结果外，另一个间接证据是译文的词汇丰富度增加(unique token number)
  • 用很大篇幅介绍了wmt测试集的问题，以En-De为例，测试集是找一半自然的En文本和De文本，然后分别找人翻译，最后混在一起作为En-De和De-En的测试集。但这么做，导致原始数据是En的部分测试集，由于译文的De是人工翻译的，并不像正常的De那么自然，从而导致在这部分测试集上应用APE后BLEU狂掉，而另一半原始数据是De的测试集上会有明显的BLEU提高
  • 建议wmt采用multi-reference去避免这种人工翻译数据作为reference的bias
  • 用人工评价，发现APE明显好，即使是在原始是En的那部分测试集BLEU上掉很多
  • 用同样的target monolingual data做back-translation，跟baseline相比BT的方式不用区分测试集的来源问题，都是稳定的涨。虽然APE也可以跟BT互补，在BT的结果上应用，但是得区分测试集来源，但看bleu在原始是En的测试集部分bleu狂掉。

论文信息

• Author: Google
• Paper

总结

• 作者的直觉很好，发现APE在不同测试集上有涨有跌，发现测试集构造的问题，要不然这结果也没法看了
• APE对于wmt评测似乎不能无脑用，除非是已知测试集中的句子，哪部分是natural text，哪部分是human translation。如果这个信息并不提前知道，是不是意味着我们得对测试集的source进行分类，判断一下source是自然文本还是人工翻译的文本（因为如果source是人工翻译的，就说明target是natural的，对应的MT译文应该用APE来处理）
• 接着上面的话题，这个分类器咋训练，感觉可以上bert呢，往年的测试集是知道哪部分是natural，哪部分是human translation的，总量能有个1w句左右，用来bert finetune
• 再接着上面的话题，上面讲的是如果判断APE应该在哪些译文上做处理。换个角度，是不是可以用APE处理训练数据？举个例子，假设我们认为APE能把译文变natural，反向的APE就能把natural的文本变成translationese，那根据测试集的来源不同，针对target是natural的那部分测试集，我把训练数据里translationese的译文用APE过一遍，再训练一个NMT系统，专门翻译这部分测试集；同理，对于target是translationese的部分测试集，我把训练数据集里的natural的译文用反向的APE让他变得不真实，会怎么样？
• 还接着上面的话题，训练数据的构成实际会面临跟测试集构造同样的问题，因为一般情况训练数据是两个方向的系统共用的，训练数据里有一部分数据会跟系统的方向不一致。比如中-英系统，但是训练数据里很多中文是natural的，英文是翻译出来的，会导致译文质量不高。这个时候用BT应该是有帮助的。这里延伸出来一个想法：
  • 如果我有一个分类器，能判别出训练数据里哪些是translationese，我可以用APE刷成natural，也就是说原始的双语数据训两个系统是一样的，但是我们改造成不同方向的系统训练数据不一样，效果如何呢？感觉得人工评价,BLEU的话参考划分测试集的方法