Closed nogawanogawa closed 11 months ago
最近のTransformerは計算リソースを要求する。
計算量の観点では、モデルの大規模化によって消費電力等が増大している。 またモデルサイズの大規模化に伴い、要求するメモリサイズも指数関数的に増大する。
計算量とメモリリソースを効率的に使用することにより、Transformerの学習を低コスト・高精度で行う事ができるはずである。
Transformerの学習における計算量・メモリリソースの効率化
学習効率は大きく3つのカテゴリに分解できる
現状、Adam/AdamWが広く使用されている。
あんま良くわからんかった
(全くわからん)
(全くわからん)
基本的にバッチサイズを大きくすると計算は高速化する。 ただ大きなバッチ学習は確率的勾配推定値の分散を減少させるので、ちょうどいいサイズが望ましいらしい。
みたいな手法があるらしい。
元の困難な最適化問題を、最適化しやすいサブ問題のつなぎ合わせに変換することで学習を効率化する
分散削減の恩恵を受けながら、有益な学習例を優先する 勾配ノルム(gradient norm)の使用が主流。
Data並列とModel並列の手段があるらしい
標準的なNNではFP32を使用しているが、FP16やFP8を使用することで効率化する
Transformerの計算オーバーヘッドを削減するために、疎行列と密行列を乗算するスパース一般行列乗算(SpGEMM)が使用されるケースがある。(不規則な計算になるため、GPUとは相性が悪いのでFPGAやASICと組み合わせる)
計算の精度を下げることでメモリ量と計算量を削減できる
軽量なアテンションを使用する研究も進んでいる
論文URL
https://arxiv.org/abs/2302.01107
著者
Bohan Zhuang, Jing Liu, Zizheng Pan, Haoyu He, Yuetian Weng, Chunhua Shen
会議
IJCAI 2023 survey track
背景
最近のTransformerは大きな計算リソースが要求される。
計算量の観点では、モデルの大規模化によって消費電力等が増大している。 またモデルサイズの大規模化に伴い、要求するメモリサイズも指数関数的に増大する。
計算量とメモリリソースを効率的に使用することにより、Transformerの学習を低コスト・高精度で行う事ができるはずである。
目的
Transformerの学習における計算量・メモリリソースの効率化
アプローチ
調査概要
学習効率は大きく3つのカテゴリに分解でき、それぞれについて調査している。
ひとことメモ