Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better

[sato163]

• paper

[sato163]

1. どんなもの？
   効率的なモデルの構築のサーベイ論文。精度と速度についてパレート最適なモデルを作るための最適化手法あれこれ調査し、それらの使い分けの指針を示すための実験を行なった。
   長い。

2. 先行研究と比べてどこがすごい？ パレート最適なモデル構築のための初めての包括的な調査とガイドを示したと供述している。

3. 技術や手法のキモは？ モデル圧縮手法、学習手法、ハイパラ探索のための自動化、効率的なアーキテクチャ、DLのためのフレームワークの５つの観点で調査。

• モデル圧縮手法
  • 枝刈り
  • saliency
    • 削除する重みのコスト関数。古典的にはロスの重みの対する二階微分。
  • structured / unstructured
    • 単位ごと(カーネルなど)に枝刈りするか。重み単位で枝刈りするか。
    • structuredの方が簡単で研究も十分に進んでいる。unstructuredは行列が穴あきになってGPUでの高速が難しく、研究もあまり進んでいないが、より最適にできそうではある。
  • Distribution
    • モデル全体で同じスパース性でなく、層ごとにスパース性決めるのが良さそう。
  • scheduling
    • 枝刈りするタイミングと量の決め方難しいよね。
  • regrowth 一度枝刈りしてもまた接続する可能性を残しておく。
  • 量子化
  • weight quantization
    • 学習後に重みの数値精度を下げる。
  • activation quantization
    • 学習後の推論時の計算処理の数値精度を下げる。
  • Quantization-Aware Training
    • 学習を推論時の精度劣化を考慮して行う。
  • その他の量子化
    • 非量子化モデルを教師として量子化モデルを蒸留など
  • その他の圧縮手法
  • 低ランク行列。k-means クラスタリング。重み共有。など
• 学習手法
  • 蒸留
    • 大きい教師モデルを用意し、そのsoftmax出力を目指すように小さな生徒モデルを学習。
    • 中間出力を基準に蒸留する手法が有効であるという論文もある。
  • データ拡張
    • データが多ければ多いほど良いということを示している論文があり、様々なデータ拡張でデータを増やすことが有効。
  • SSL
    • ラベルのないデータを元に事前学習。ラベルがいらないならwebから無限に収集可能。
• ハイパラ探索のための自動化
  • Hyper-parameter Optimization
    • 最適なハイパーパラメータを探索する手法。確率的にランダム探索の方がいい。ベイズ最適化も強そう。
  • Network Architecture Search
    • ハイパーパラメータやモデル自体も自動で探索する手法。電力消費や推論速度もロスに組み込める。強い。
• 効率的なアーキテクチャ
  • depth-wise convolution
    • 畳み込みを分解して計算量を大幅に削減。
  • transformer
    • attention機構を導入してNLPでは最強に。
• DLのためのフレームワーク
  • tensorflow
  • pytorch
  • GPU
  • TPU
  • その他asic

4. どうやって有効と検証した？ 枝刈り、量子化、データ拡張、蒸留、デバイスの処理性能の条件を色々と変えて精度と速度の関係を実験。

5. 議論はある？

6. 次に読むべき論文は？

7. その他 2021の論文で情報が新しい。包括的に最適化手法について理解できるが、調査範囲が広すぎて個々の手法はそこまで深堀していない。
   ただ、それぞれの手法について参考文献がたくさんあり、目的によって深堀して調査する時に役立ちそう。最適化のサーベイ論文として良いと思う。
   パレート最適とかメンタルモデルとかオシャレ単語多くて困惑する。
   あと、長い。