e4exp
commented
2 years ago 1 はじめに
本を読むとき、私たちは、物語を理解するために、文章中の登場人物や出来事を表現します。 これは、選択的な記憶プロセスによって行われます。 文章の細かい部分はすぐに忘れてしまいますが、本の詳細については比較的コンパクトな表現を保持しています。 初期の自然言語モデルでは、Long Short-Term Memory (Hochreiter and Schmidhuber, 1997)などのリカレントニューラルネットワーク(RNN)が使われていたが、これは過去をコンパクトな状態ベクトルでモデル化することで、この選択的記憶アプローチを模倣したものである。 このモデルは、タスクの損失を最適化するために、関連する情報を暗黙のうちにその状態に格納することを学習します。 LSTMは90年代に登場して以来、20年以上にわたって最先端の言語モデルとして君臨しており（Melis et al.2017）、間違いなく最もユビキタスな神経配列モデルです。 しかし、人間の記憶システムとは異なり、LSTMはテキストを読む際に長距離の文脈を推論するのに苦労します。 これは複数のコンテキストで観察されている。 人間の評価者が決定した長期的な構造を持つ書籍テキストのセクションで言語モデルの予測をテストする、慎重に管理されたLAMBADAベンチマーク（Paperno et al.2016）では、LSTMは完全に失敗します。 すなわち、人間が70％以上の精度とされているところ、LSTMは0％の確率で正しい単語を推測する。 通常の言語モデリングの場合、Danilukら（2017）は、注意力で補強されたLSTMが、先行する7つの単語の文脈を超えて出席することはほとんどないと観察しています。 LSTMの言語モデルのサンプルは、すぐに全体的なテーマを欠いた一般的なテキストになってしまう。 このことから、言語モデリングのタスクに無視できない長距離信号があるのかどうか、多くの人が疑問に思っています。
最近、私たちは、深層注意モデルが、次の単語の予測という単純な目的であっても、テキストから長距離信号を引き出すことができると考えています。 Transformer（Vaswani et al., 2017）の登場により、モデルの注意を数千語にまで拡張することで、言語モデリング性能の大幅な向上が得られます。 Transformer-XL（Dai et al., 2019）は、過去の活性化のキャッシュを導入することで長距離の配列モデリングに特化したTransformerの変種であり、4つの主要なLMベンチマークであるPTB（Mikolov et al., 2010）、LM1B（Chelba et al., 2013）、Enwik8（Hutter, 2012）、WikiText（Merity et al., 2016）において、最先端の結果を得た。 後者の2つの場合、Daiら（2019）は、モデルが1,000語以上の文脈を効果的に使用していることを示し、結果として得られたサンプルには、段落にまたがるテーマの一貫性が反映されています。 GPT-2（Radford et al., 2019）やMegatron（Shoeybi et al., 2019）のように、Transformerが長い文脈や大量のデータと対になった場合、結果として得られるサンプルは長距離の一貫性や文体のリアリズムが顕著に表れます。
しかしトランスフォーマーは、過去のコンパクトで選択的な表現を放棄している。 彼らは、すべての時間ステップ（与えられた注目範囲まで）とネットワーク内のすべての層で、隠れた活性化を保存します。 これは、以前のRNNの隠れた状態やオリジナルのテキストよりも何桁も大きなスペースを消費します。 例えば、典型的な最先端のLSTM言語モデルの状態サイズは、Wikipediaの記事をモデル化するための4KB（Raeら、2018年）から、ニュースをモデル化するための64KB（Jozefowiczら、2016年）までの範囲であり、1MBを超えることはありません。 一方、現在の最先端の18層のTransformer-XLのWikipediaの記事の状態サイズは112MBです。 状態がここまで大きいのは、レイヤーごとに別のメモリ（例えばサイズd=1024の1600個のベクトル）を維持しているからです。 もし、これが不要だとわかったら、状態のメモリを大幅に減らすことができます。
この論文では、「Transformerの大部分のレイヤーに短距離注意を使用して、同じ性能を回復することができるか」という単純な疑問を検討しています。 仮説としては、推論の多くのステップが短距離相関を伴うだけなので、これは可能であると考えています。 しかし、実際にはそれが可能であることがわかりました。 ベースラインであるTransformerXLに比べて、長距離記憶のごく一部（1/6）を使用することで、長距離言語モデリングにおいて同等の性能を回復しました。 重要なのは、長距離メモリをネットワーク上のどこに配置するかが重要であることです。ネットワークの下層部に配置しても効果はありませんが、下層部に配置したり、ネットワーク上にインターリーブさせたりすると、より効果的です。 このようなモデルでは、高価な注目操作が減るため、時間とメモリが2倍少なくて済むことを示しています。
ディープアテンションモデルは、多くの分野で逐次データのモデリングを進化させてきました。 特に言語モデリングにおいては、Transformer-XL（過去の活性化の長距離メモリで強化されたTransformer）が、よく研究されたさまざまなベンチマークにおいて、最先端であることが示されています。 Transformer-XLは、ネットワークの各層に長距離メモリを搭載しており、従来のRNNに比べて数千倍の状態を実現しています。 しかし、これが必要なのかどうかは不明です。 我々は、6倍少ない長距離メモリで同等の性能を得ることができ、ネットワークの低層での注意の範囲を制限することで、より良い性能を得ることができることを示すために、一連の介入を行いました。