e4exp
commented
3 years ago 1 はじめに
近年のTransformerの登場は、自然言語処理研究の状況を劇的に変えました。 Transformerは、機械翻訳[Vaswani et al., 2017]、自然言語推論[Williams et al., 2017]、テキスト分類[Howard and Ruder, 2018]、質問応答[Rajpurkar et al., 2016]、自動音声認識[Dong et al., 2018]、画像生成[Parmar et al., 2018]、画像キャプション作成[Xu et al., 2015]など、さまざまなタスクで優れた性能を発揮しています。 Transformersの主な革新点は、マルチヘッドの自己注意メカニズムの導入であり、入力シーケンスのペア的な相互作用を、互いの距離に関係なくモデル化しています。 この操作は非常に効果的であることが示されています。 しかし、Transformerの成功例はいくつかありますが、重要な要素である注目行列の計算は、シーケンスの長さに対して二次的な時間と空間の複雑さがあるため、効率上の大きなボトルネックになることがわかりました。 そのため、最大シーケンス長は利用可能なメモリ量によって制限されます。 このようなTransformerの本質的な限界により、文書分類のような、より長いシーケンス長を必要とするドメインへの適用は成功しませんでした。 また、大規模なTransformerベースのモデルを実際に構築するには、コストがかかることが知られています。 微調整の段階は比較的安価ですが、メモリの問題は、これらのモデルを使用できるシナリオを制限します。 計算コスト以外にも、注目ヘッドの定性的な分析[Vaswani et al., 2017]によると、ヘッドは、どのような現象を捉えるかによって、よりフラットな分布やよりピークのある分布を好む傾向があることが示唆されています。 したがって、極端に長いシーケンスを使用すると、モデルのパワーが制限される可能性があります。 このため、これらの制限に取り組むために、効率的で高速なTransformerの幅広いスペクトルが提案されています。 例えば、[Beltagy et al., 2020, Wang et al., 2020a, Tay et al., 2020a, Child et al., 2019, Zaheer et al., 2020, Correia et al., 2019, Qiu et al., 2019, Roy et al., 2021, Kitaev et al., 2020, Zhao et al., 2019, Vyas et al., 2020]では、各クエリがアテンドするキーの量を制限することで、問題となる複雑さに対処している。 しかし、これらの方法では、長期的な依存関係が壊れるか、時間効率が悪くなります。 また、ソフトマックスの代わりに低ランクカーネルで定義された密なアテンションマトリクスを使用する研究も古くから行われています[Katharopoulos et al., 2020, Choromanski et al., 2020, Xiong et al., 2021, Peng et al., 2021]。 これらのアプローチは、速度-記憶-精度のトレードオフを改善していますが、前述の自己記憶メカニズムの限界に悩まされています。
別の著名な研究ラインは、メモリ容量を増加させることである[Sukhbaatar et al.、2019、Ye et al.、2019、Rae et al.、2019]。しかし、これらの作品は依然として同じ規模の情報を処理しています。 計算コスト以外にも、上述したすべてのモデルの自己注目メカニズムは、同じスケール、すなわちすべての注目ヘッドが同じ解像度にある状態でしか情報を処理していない。 しかし、テキストや言語の分野では単語や文章レベルの情報、画像の分野では低レベルや高レベルの特徴など、ほとんどの分野で情報は階層的な構造を持っているという事実にヒントを得て、情報を粗いものから細かいものへと処理することが、階層的に構造化された情報を捉えるのに有効であることを提案します。
そこで我々は、Adaptive Multi-Resolution Attention (AdaMRA)を提案する。 これは、長距離の依存関係を粗から細へと捉える、時間と空間の線形なアテンションである。 より正確には、すべてのアテンションヘッドを通して一定の解像度を維持するバニラ・トランスフォーマーとは異なり、AdaMRAでは、抽象度が異なる複数の解像度のアテンションヘッドを採用している。 さらに、クエリ表現と異なるアテンション・グラニュラリティの手がかりとの間の潜在的な関係を捉えるために、各クエリは対応するアテンション・ヘッドにルーティングされます。 さらに、性能を犠牲にすることなくカーネルアテンション[Katharopoulos et al.，2020]を採用する。 提案手法をLong-Range-Arena (LRA) ベンチマーク [Tay et al., 2020b] で評価したところ、AdaMRAはシーケンス長に対して線形の計算量でありながら有望な性能を達成することが示された。 印象的なことに、図1に示すように、LRAの平均スコアは、vanilla Transformerと前回の最高性能モデルBigBirdから、それぞれ4.32と3.66増加しました。 時間と空間の効率性という点では、AdaMRAはGPU上でvanilla Transformerよりも約10倍高速で、GPUの実行メモリ占有量は5倍小さくなっています。
トランスフォーマーは、シーケンスモデリングの数多くのタスクにおいて、最先端の技術を改善してきました。 しかし、計算量とメモリ使用量がシーケンスの長さに対して2次関数的に増加することに加えて、自己注意メカニズムは同じスケールの情報しか処理しないため、すべてのアテンションヘッドが同じ解像度になってしまい、結果としてTransformerの能力が制限されてしまいます。 この問題を解決するために、我々はAdaptive Multi-Resolution Attention（略してAdaMRA）と呼ばれる新規かつ効率的な構造を提案する。 具体的には、マルチレゾリューション・マルチヘッド・アテンション・メカニズムを活用し、アテンションヘッドが長距離の文脈情報を粗いものから細かいものまで取り込むことを可能にする。 さらに、問い合わせ表現と異なる注意粒度の手がかりとの間の潜在的な関係を捉えるために、どの解像度の注意を使うかの決定を問い合わせに委ね、これにより、vanilla Transformerと比較してモデルの能力をさらに向上させています。 複雑さを軽減するために、性能を低下させることなくカーネルアテンションを採用しています。 いくつかのベンチマークを用いた大規模な実験により、最先端の性能-効率-メモリのトレードオフを達成することで、我々のモデルの有効性と効率性が実証された。 科学界でのAdaMRAの利用を促進するために、コードの実装は公開される予定です。