18-WNMT-Marian: Cost-effective High-Quality Neural Machine Translation in C++

[wangqiangneu]

简介

Marian团队参加的WNMT 2018的报告。做速度的优化，方法包括：

• interpolated seq-kd。Teacher是4个transformer-big ensemble -> 翻译train set -> 8-best -> oracle作为训练数据，于是student可以用beam=1解码。
• beam=1时，可以跳过softmax计算，只考虑logits就可以
• AAN
• CPU上的特殊优化
  • shortlist
  • CPU上做16bit或8bit的整数矩阵乘法代替原始的32bit float
  • 16bit时，方案参照这篇，只需简单的把输入和参数X 2^10再转成signed integer。int16比较安全，没有overflow的危险
  • 8bit时，得先把activation和parameter clip到[-2, 2]，再算，然后把结果线性缩放到[-127, 127]
  • 矩阵乘时考虑memory的连续性。dot(A, B) -> dot(A, B^T)，这样保证A的每行是跟B的每行做点积，而不是之前的跟B的每列做。同时，当使用低精度时，提前把B^T量化好，避免每次重复量化
  • float32和int16在不同的条件下谁好谁坏不一定，因此可以在提前试，不同的地方用谁好，文章里叫auto-tuning

论文信息

• Author: Microsoft
• Paper

总结

• seq-kd很牛
• CPU是做低精度的矩阵乘法有效果