Multi-CLS BERT: An Efficient Alternative to Traditional Ensembling, ACL'23

[AkihikoWatanabe]

https://virtual2023.aclweb.org/paper_P1316.html

[AkihikoWatanabe]

Ensembling BERT models often significantly improves accuracy, but at the cost of significantly more computation and memory footprint. In this work, we propose Multi-CLS BERT, a novel ensembling method for CLS-based prediction tasks that is almost as efficient as a single BERT model. Multi-CLS BERT uses multiple CLS tokens with a parameterization and objective that encourages their diversity. Thus instead of fine-tuning each BERT model in an ensemble (and running them all at test time), we need only fine-tune our single Multi-CLS BERT model (and run the one model at test time, ensembling just the multiple final CLS embeddings). To test its effectiveness, we build Multi-CLS BERT on top of a state-of-the-art pretraining method for BERT (Aroca-Ouellette and Rudzicz, 2020). In experiments on GLUE and SuperGLUE we show that our Multi-CLS BERT reliably improves both overall accuracy and confidence estimation. When only 100 training samples are available in GLUE, the Multi-CLS BERT_Base model can even outperform the corresponding BERT_Large model. We analyze the behavior of our Multi-CLS BERT, showing that it has many of the same characteristics and behavior as a typical BERT 5-way ensemble, but with nearly 4-times less computation and memory.

Translation (by gpt-3.5-turbo)

• BERTモデルのアンサンブルは、精度を大幅に向上させることがよくありますが、計算量とメモリの使用量も大幅に増加します。本研究では、CLSベースの予測タスクのための新しいアンサンブル手法であるMulti-CLS BERTを提案します。Multi-CLS BERTは、多様性を促進するパラメータ化と目的関数を持つ複数のCLSトークンを使用します。したがって、アンサンブル内の各BERTモデルを微調整する必要はなく（テスト時にすべてのモデルを実行する必要もありません）、単一のMulti-CLS BERTモデルを微調整するだけで済みます（テスト時には複数の最終CLS埋め込みをアンサンブルします）。効果を検証するために、我々はBERTの最先端の事前学習手法（Aroca-Ouellette and Rudzicz, 2020）の上にMulti-CLS BERTを構築しました。GLUEとSuperGLUEの実験では、Multi-CLS BERTが全体的な精度と信頼度の推定を確実に向上させることを示しました。GLUEではトレーニングサンプルが100個しかない場合、Multi-CLS BERT_Baseモデルは対応するBERT_Largeモデルを上回る性能を発揮することさえあります。また、Multi-CLS BERTの振る舞いを分析し、通常のBERT 5-wayアンサンブルとほぼ同じ特性と振る舞いを持つことを示しましたが、計算量とメモリ使用量は約4倍少なくなっています。

  Summary (by gpt-3.5-turbo)

• 本研究では、BERTモデルのアンサンブル手法であるMulti-CLS BERTを提案します。Multi-CLS BERTは、複数のCLSトークンを使用して多様性を促進し、単一のモデルを微調整するだけでアンサンブル効果を得ることができます。実験結果では、Multi-CLS BERTがGLUEとSuperGLUEのタスクで全体的な精度と信頼度の推定を向上させることが示されました。また、通常のBERTアンサンブルとほぼ同等の性能を持ちながら、計算量とメモリ使用量が約4倍少なくなっていることも示されました。