e4exp
commented
2 years ago 1 はじめに
Transformerアーキテクチャ（Vaswani et al., 2017）は、自然言語処理（Devlin et al., 2019; Raffel et al., 2020）、音声処理（Baevski et al., 2020）、画像処理（Dosovitskiy et al., 2020; Tan and Bansal, 2019）など、さまざまな研究分野で最先端を達成しています。 しかし、Transformerは、Transformerにおける注意モジュールの時間複雑性とメモリ複雑性がともにシーケンス長に対して二次的であるため、長いシーケンスに対してうまくスケールしない。 近年、性能を大きく損なうことなくモデルを二次複雑性から線形複雑性に高速化するために、いくつかの効率的なTransformer（Kitaevら、2020年、Wangら、2020年、Zaheerら、2020年、Xiongら、2021年）が提案されている。 一般的に、これらは注目を近似するために効率的なアルゴリズムを利用しています。 §2では、これらの効率的なTransformerを簡単に紹介し、より詳細なレビューはTay et al.（2020c）にあります。 これらの効率的なTransformerの中でも、Performer (Choromanski et al., 2020)が最も高速であることが示唆されている(Tay et al., 2020b)。 本稿では、Choromanskiら(2020)に類似した効率的なTransformerのファミリー、例えば、Choromanskiら(2020)そのものだけでなく、Katharopoulosら(2020)、Pengら(2021)、Kasaiら(2021)、Likhosherstovら(2020)をPerformerと表記する。
Performerはカーネル法を用いて、注目度の重みを明示的に計算しないようにしています。 非線形特徴マップをクエリとキーに適用して、クエリ特徴とキー特徴をそれぞれ取得し、ソフトマックスを適用せずにクエリ特徴、キー特徴、値を直接乗算します。 マトリックスの乗算の順序を適切にすることで、Performerはシーケンス長の線形の複雑さを実現します。 さらに、一方向性のPerformer (Likhosherstov et al., 2020)の実装では、学習時と推論時の両方でメモリフットプリントを一定にすることさえできる。 Performerは線形の複雑さに注意を加速させるが、既存の相対的な位置のエンコーディング（Shaw et al., 2018; Dai et al., 2019; Raffel et al., 2020）は、依然として配列長に関して2次的な複雑さを持っている。 そのため、Performerは、最先端のTransformerの束ではすでに一般的になっている相対位置エンコーディングの恩恵を受けることができません（Yang et al., 2019; Raffel et al., 2020; He et al.
相対位置の符号化は、絶対位置の符号化に比べていくつかの利点がある。
(1) 相対位置符号化は、学習データセットによる制限を受けることなく、任意の長さの配列に適用することができる。 (2) 相対的位置符号化は、絶対的位置符号化よりも効率的かつ効果的である。(Shaw et al., 2018)
Performer以外にも、既存の相対的な位置のエンコーディングは、他の効率的なTransformerにも適合しない。 いくつかの相対位置エンコーディング(Raffel et al., 2020)は注目行列にバイアスを加え、他のエンコーディング(Shaw et al., 2018; Dai et al., 2019)はキーベクトルに相対位置に依存したバイアスを加える。 どちらも、クエリベクトルとキーベクトルの間のドット積を明示的に計算する必要があります。 これは、クエリベクターとキーベクターの間のドット積の明示的な計算を回避することで計算の複雑さを軽減するため、セクション2で説明した効率的なトランスフォーマーの第2および第3のカテゴリーと相反する。 第1のカテゴリーの効率的なTransformerに関しては、Kitaevら(2020)のLSHは、相対的な位置のエンコーディングが存在する場合、主要な注目度の重みを見つけられない可能性がある。 Zaheerら(2020)とBeltagyら(2020)は、他のトークンとの相対的な位置が定義されていないグローバルトークンに大きく依存している。
本論文では、Performerと互換性のある、長い配列に対して線形にスケーリングする相対位置エンコーディングを提案します。 この新しい相対位置エンコーディングを搭載したPerformerをPermuteFormerと呼びます。PermuteFormerは、位置情報をエンコードするために、クエリ特徴とキー特徴に位置を考慮した変換を適用します。 具体的には、ランダムな順列π : {1, 2, - - , d} → {1, 2, - - , d}を選択し、i番目のトークンのクエリ/キーフィーチャーに順列をi回適用します2 ．dはattention headごとのquery/keyの次元数
このようにして、位置情報を注目度にエンコードします。 トークンのクエリ特徴とキー特徴に適用される変換は、その絶対位置に依存しますが、クエリ特徴とキー特徴のドット積を計算する際に、絶対位置の影響が互いに打ち消し合うことを証明します。 そのため、最終的な注目度の重みは絶対位置に依存せず、PermuteFormerは相対位置のみを符号化します。 PermuteFormerはPerformerと同じくらい効率的で、計算上のオーバーヘッドはごくわずかです。 問い合わせ特徴量や主要特徴量のPermutingは、そのサイズに比例した計算量で、効率的に実装できる。 サイズはモデル全体の計算複雑度よりもはるかに小さいため、PermuteFormerの順列化のコストはPerformerの全体の計算コストと比較して無視できるレベルです。
上記の分析は、実験結果によっても確認されています。 PermuteFormerの評価は、双方向の場合はLong-Range Arena (Tay et al., 2020b)で、一方向の場合はWikiText-103 (Merity et al., 2017)で行っています。 Long-Range Arenaは、長い配列で効率的なTransformerを評価するために設計されたベンチマークです。 新しい相対位置エンコーディングにより、Long-Range ArenaでPermuteFormerの性能が大幅に向上することがわかりました。 PermuteFormerはPerformerよりも優れているだけでなく、vanilla Transformerや、他の効率的なTransformer（例：Kitaev et al (2020); Wang et al (2020); Xiong et al (2021)）よりも優れています。 WikiText-103は言語モデリングのデータセットです。 PermuteFormerは、WikiText-103において、PerformerとTransformerの性能差を縮めます。 また、モデルの収束を早めることができます。
貢献度
本論文の主な貢献度は以下のようにまとめられる。
- Performerに相対位置エンコーディングを追加するための可能な方法を議論する。Performerと互換性のある相対位置エンコーディングが持つべき3つの性質を理論的に提案する。
- PermuteFormerを紹介します。これは相対位置エンコーディングを持つPerformerのモデルで、長い配列に対して線形にスケールします。このモデルは、クエリフィーチャとキーフィーチャの要素を順列化して、位置情報をエンコードします。PermuteFormerは、Performerと互換性のある唯一の相対位置エンコーディングで、直線的な複雑さを持っていることが分かっています。PermuteFormerはPerformerと同じくらい効率的です。
- PermuteFormerを評価するために大規模な実験を行いました。効率的なトランスフォーマーのベンチマークであるLong-Range Arenaにおいて、PermuteFormerは経験的に高い性能を達成し、最先端の技術を獲得しました。また、PermuteFormerはWikiText-103のような言語モデリングタスクにおいてもPerformerの性能を向上させています。
最近のTransformerのバリエーションであるPerformerは、Transformerを直線的な注目メカニズムでより長いシーケンスに対応させています。 しかし、Performerは、絶対位置エンコーディングよりも優れている相対位置エンコーディングに対応していません。 この論文では、Performerに相対位置エンコーディングを追加するための可能な方法を議論します。 本論文では、Performerに相対位置エンコーディングを追加する方法を検討し、Performerに相対位置エンコーディングを追加したモデルであるPermuteFormerを提案します（長いシーケンスでは線形にスケールする）。 PermuteFormerは、クエリとキーに位置依存の変換を適用して、位置情報を注意モジュールにエンコードします。 この変換は、自己注意の最終的な出力がトークンの絶対的な位置に影響されないように注意深く作られています。 PermuteFormerは、Performerと同等の速度で動作するように設計されており、計算上のオーバーヘッドはごくわずかです。 PermuteFormerを、長い配列のデータセットであるLong-Range Arenaと、言語モデリングのデータセットであるWikiText-103で評価しました。 実験の結果、PermuteFormerはほとんど計算上のオーバーヘッドなしにPerformerの性能を一様に向上させ、ほとんどのタスクでvanilla Transformerを上回ることがわかりました。