2019: ALBERT: A Lite BERT for Self-supervised Learning of Language Representations

ALBERT: A Lite BERT for Self-supervised Learning of Language Representations Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut https://arxiv.org/abs/1909.11942 code: https://github.com/google-research/google-research/tree/master/albert

概要

事前学習モデルで，モデルサイズを大きくするとパフォーマンスが向上する傾向にあるが，GPU/TPUメモリは高コストになり，さらに予期しないパフォーマンス低下を招くことがある．本論文では，メモリ消費量の削減のために2つのパラメタ削減方法を提案し，BERTの学習速度も向上させる(A Lite BERT, ALBERT)．実験では，オリジナルのBERTと比べてモデルをスケールさせることができた．また文間の一貫性をモデリングすることにフォーカスしたself-supervisedな損失も提案．結果として，BERT-largeと比べて少ないパラメタで，GLUE, RACE, SQuADでSOTA．

イントロ

pretrainingのモデルが多く成果を上げている．また巨大なモデルを事前学習し，ダウンストリームのタスクに向けて蒸留したりする．しかし現在のSOTAモデルはパラメタ数が何億・何十億となっているので，メモリの制約が大きい．更に学習速度も問題となっている．またBERT-largeのようなモデルの隠れ層の大きさを純粋に大きくしていくと（2倍），性能が悪化していく

このような問題に対処するためにモデルの並列化や賢いメモリ管理法などがあるが，これはメモリ制約の問題にはよいが，パラメタのコミュニケーションのオーバーヘッドやモデルの悪化については言及していない．我々はこれらの問題のため，A Lite BERT (ALBERT)を提案．BERTよりも少ないパラメタ．

ALBERTでは2つのパラメタ削減テクニックを採用

factorized embedding．巨大な語彙-埋め込みマトリックスを，2つのマトリックスに分解．
レイヤー間でのパラメタ共有

これにより，BERT-largeと比べて18分の1のパラメタで1.7倍早く学習できる．またこのパラメタ削減は，学習を安定化させ一般化を促す正則化としても動作する．

またALBERTのパフォーマンス改善のため，文順序予測（SOP: Sentence-Order Prediction）のためのself-supervised損失を導入．SOPは文間の一貫性にフォーカスし，報告されている次文予測（NSP）の非効率性が報告されているため入れ替える．

ALBERTの要素

モデルアーキテクチャ

ALBERTのアーキテクチャはBERTと似ているが，以下に示す内容でカスタムしていく．

Factorized embedding parametrization 語彙数V，サブワード埋め込みサイズはE，隠れ層をHとする．オリジナルでは，VxHのパラメタ数が必要であるところを，VxE+ExHのパラメタ数に削減する．例えば．V=30K，H=768, E=128と考えると，BERTで23Mのパラメタ（30Kx768）に対してALBERTで3.9M（30Kx128 + 128x768)と1/6程度になる．
レイヤー間のパラメタ共有パラメタ共有と言っても色々方法があり，例えばフィードフォワードレイヤーのパラメタだけを共有したり，アテンションパラメタだけ共有したりと．ALBERTではすべてのレイヤー間でパラメタを共有．例えばBERT-baseの12層レイヤーでは85Mのパラメタなので，85M/12=7.08Mまで削減できる．

Fig2にBERTとALBERTでの各レイヤーでの入力と出力の埋め込みのcosine 類似度を載せる．ALBERTでは，BERTよりも，レイヤーからのレイヤーの遷移がスムーズであると分かる．これはネットワークパラメタの安定化に効果がある．

文間の一貫性損失 BERTではMasked Language Modeling (MLM)損失に加えて，次文予測（NSP）が加えられてる．これは連続する文が正しいものか，適当な文の組み合わせ化を予測するバイナリ分類問題である．これはNLIや文ペア関係の推論などのタスクのためにデザインされたものだが，NSPの有用性に関しては疑問視されている．我々はこれはNSPタスクが簡単だからと推察する．NSPはトピック予測及び一貫性予測となっており，難しくなく，MLMとの重複があるのではないかと考える．そこでALBERTではSentence Order Prediction (SOP)を提案．これは文間の一貫性をモデル化するものである．２つの文は連続したものが元となるが，negative samplesではその文がスワップされて，それを判別できるようにするタスクである．SOPの有効性はNSPタスクと合わせて後ほど説明する

モデルのセットアップ

BERTとALBERTののパラメタ比較をTable 2に示す．ALBERTはかなり小さくなっている．例えばBERT-largeとALBERT-largeでは，18倍のパラメタの差が生じている．

実験結果

ダウンストリームのタスクとして，GLUE，SQuAD，RACE (ReAding Comprehension from Examinations，英語の試験)を採用．

全体の結果（BERET vs ALBERT）

Table 3に示す

BERT-largeの70%のパラメタで全データセットでベストスコア
BERT-xlargeはBERT-baseよりもかなり悪い．パラメタサイズのデカさが問題となる点である．
ALBERTは対応するBERTのモデルよりも学習速度が早い．例えばxlarge設定では2.4倍早い．

Factorized embedding parametrization

Table 4に埋め込みサイズEをALBERT-baseで色々変えてみたものを示す．またレイヤー間パラメタ共有も一緒に．

パラメタ共有をしない場合（BERTスタイル）では，埋め込みサイズは大きいほど性能が多少上がる
この結果から我々はデフォルトで，埋め込みサイズ128を選択

レイヤー間のパラメタ共有

ALBERTの埋め込みサイズEを768，128にして，様々なパラメタ共有を試した：all-shared, shared-attention, shared-FFN, not-shared (BERTスタイル)

all-shared戦略では両埋め込みサイズに対してパフォーマンスが落ちたが，E=128では768と比べて非常に軽微．
パフォーマンスドロップの多くはFFNレイヤのパラメタ共有から来てる一方，アテンション共有ではあまりドロップなし．
パフォーマンスのドロップ軽微（E=128）かつパラメタ削減に一番効果のあるall-sharedをデフォルトとして選択した

Sentence Order Prediction (SOP)

追加の文間タスクに関して，None (XLNet, RoBERTAスタイル），NSPタスク（BERTスタイル），SOP（ALBERTスタイル）を目的関数にした場合，それぞれのタスクが解けるかをTable 6に示す．

NSPではSOPが5割とまったく解けていない，Noneも同様
SOPでは，SOPが86.5と高いのに加えてNSPも78.9とそこそこ高く解けている．
ダウンストリームタスクでもSOP利用が一番良い

ネットワークの深さと幅の効果

ネットワークの深さ（レイヤー数）と幅（隠れ層サイズ）がALBERTにどう影響を与えたか示した．レイヤー数を変えたものはTable 7，隠れ層サイズを変えたものをTable 8に示す．

パラメタ共有によって徐々に性能が上がっており，12レイヤーあたりで最高，24レイヤーで若干の減衰

Table 8には3-layerのALBERT-large設定で異なる隠れ層サイズ．

隠れ層を大きくするにつれて性能向上が見受けられるが，H=6144で優位に性能が下がる．

もし同じ時間で学習していたらどうなる

Table 3で示したとおり，ALBERTの学習は早い．また一般に，長い学習でパフォーマンスは上がる．そこでBERT-largeと同程度の時間で学習したALBERT-xxlargeの性能をTable 9に示す

ALBERTが，SQuAD, RACE, SSTでBERTよりも良くなった

幅の広い（隠れ層サイズ大）ALBERTは，より深い必要（レイヤー数）があるか？

ALBERT-large (H=1024)を，レイヤー１２と２４で実験したものをTable 10に示す．

有意差なし．12レイヤよりも深くする必要なしと言えそう

追加の学習データとドロップアウトの効果

XLNet及びRoBERTaで使われた追加の学習データを利用してみた．

Fig 3aからは，追加データありでMLMの正解率が大きくブーストしていることが分かる
Table 11からもSQuAD以外で性能改善（SQuADはWikipediaベースなので，逆にout-of-domainな学習データの利用は悪化）
Fig 3bから，学習が1Mステップを超えてもoverfitしていないことが分かる．なのでdropuoutを使うのはやめると，MLM正解率が大きくブーストしていることが分かった
Table 12からも分かる分かる通り，dropoutなしのほうが性能が高い
畳み込みネットワークにおける，バッチノーマライゼーションとドロップアウトは悪影響があるかもしれないという理論的な証拠は実は提示されている（Szegedy 2017)
我々が初めて，大きなTransformerベースのモデルで，dropoutが性能低下を引き起こすと示した．ただALBERTは特殊構造ゆえ，もう少し精査は今後必要

NLUタスクの現在のSOTA

シングルモデルとアンサンブルモデルで比較．シングルモデルではTable 2でのALBERT-xxlargeで，MLMとSOPタスク，及びdropoutなし設定．Table 13にGLUE，Table 14にRACE，SQuADを示す．

シングルでもアンサンブルでもALBERTは全タスクで改善
RACEにおいて，ALBERTのシングルモデルは，SOTAのアンサンブルモデルよりも良い結果．

ディスカッション

ALBERT-xxlargeはBERT-largeよりも少ないパラメタにもかかわらず良い結果を示した．次のステップとして，スパースアテンションやブロックアテンションといった手法を通してALBERTの学習及び推論時間の向上である．またSOPの有用性も示した，これにはだ捉えられていない表現手法があると考える．

手法はかなり単純の割に性能向上がすごい
実験量はかなり多いのでエンジニアリング的に面白い論文だが，理論的に解説している論文ではないので，まだまだ事前学習言語モデルで不明点は多いのだと実感．

参考

西田京介さんの事前学習言語モデルの動向

jojonki / arXivNotes