Model compression via distillation and quantization

[keimoriyama]

Model compression via distillation and quantization

• author

• link

Model compression via distillation and quantization

背景：なぜその問題を解決したいのか

モデルの構造を変化させた蒸留の手法を提案する

ここでの構造はモデルの重みを離散値に量子化することを指している指している

目的：どういう問題を解決したのか

生徒モデルの重みを量子化して，蒸留をする時のパフォーマンスを調査した

提案：解決に向けたキーアイデアは何か

2つの量子化の手法を提案

• Quantized Distillation
  1. 生徒モデルの重みを量子化
  2. 教師モデルと生徒モデルの間の損失を計算する
  3. 勾配を計算し，重みを更新する

重みが離散値を取るので，勾配の計算式は以下のようになる

• Differentiable Quantization

量子化する点もいい感じに更新しようぜ！というやり方

8行目で量子化する点を更新している

結果：結局問題は解決されたのか．新しくわかったことは？

Differentiable Quantizationの結果が一番良いことがわかる