19-Arxiv-Neural Machine Translation with 4-Bit Precision and Beyond - Githubissues

wangqiangneu / MT-PaperReading

Record my paper reading about Machine Translation and other related works.

36 stars 2 forks source link

19-Arxiv-Neural Machine Translation with 4-Bit Precision and Beyond #13

Open wangqiangneu opened 5 years ago

wangqiangneu commented 5 years ago

简介

用4-bit做量化。第一位表示正负。使用的方法包括：

logarithmic with base 2(而不是linear)
选择scaling factor，用EM估计（其他常见的scaling factor可以选一个tensor的max value）
初始量化完还要retrain,但写的不详细，不清楚这块怎么做
不量化bias
量化通常是在模型参数上做，文章还试了在run time时对matmul的输入做量化，BLEU掉的比较多
还试了更低bit的量化，但是性能就下降的很明显了
RNN比Transformer看起来更鲁棒一点，随着bit的减少
全套下来，最好的效果比baseline的BLEU低0.1，几乎没啥影响，模型大小压缩8倍

论文信息

Author: Edinburgh
Paper

总结

我不清楚除了模型大小压缩，是否run time也更快呢？
怎么做的retraining呢？