e4exp
commented
3 years ago 1 はじめに
オープンドメイン質問応答（QA）は、テキストの文章の集合から質問に答えることを目的としています。 これは、ウェブ検索や音声アシスタントなどのいくつかのドメインに適用される重要かつ困難なタスクです。 オープンドメインQAの最も一般的なアーキテクチャは、retriever-readerです（Chen et al.、2017）。 質問が与えられると、リトリーバーは文章の集合体に対する情報検索（IR）システムを使用して、答えを含む可能性が最も高いトップKの結果を返します。 次に、読み手は、トップKの結果のそれぞれに対して機械読解（MRC）モデルを使用して答えを見つける。 最終的には、上位K件のMRCの回答がランク付けされ、最終的な回答が得られる。 レトリバーとリーダーの両方について、BERT（Devlin et al., 2018）、RoBERTa（Liu et al., 2019）、ELECTRA（Clark et al., 2020）などの大規模な変換モデルは、最先端の結果を達成します。 大規模なトランスフォーマーモデルの欠点は、推論のための計算コストが高く、音声アシスタントなどのオンラインランタイムシステムに適用することが難しいことです。
トランスフォーマーの計算コストには、大きく分けて3つの要因があります。 1つ目は、中間的な高次元に投影し、元の次元に戻すフィードフォワード層のサイズです。 第二に、マルチヘッドセルフアテンションは、シーケンスの長さに対して二次的な計算の複雑さを持ちます。 3つ目は、層の総数です。
DPR（Dense passage retrieval）（Karpukhin et al.、2020）は、意味的な類似性を捉えるために、変換質問エンコーダーと変換通路エンコーダーを使用する検索モデルである。 質問エンコーダーとパッセージエンコーダーは、答えを含む可能性の高いパッセージが質問エンベッディングとの大きなエンベッディング・ドットプロダクトを持つように学習されます。 パッセージのエンベッディングは、オフラインで生成され、効率的な分散KNN検索のためにインデックス化され(Johnson et al., 2017)、質問のエンベッディングのみが実行時に生成される。 質問は通常短いので、リトリーバー実行時の推論計算コストは低い。 MRCリーダーモデルは、リトリーバーから返されたトップKの通路を処理して答えを得る。 変換器ベースのMRCモデルでは、各パッセージはCLSとセパレータ文字を使って質問と一緒にエンコードされる [CLS] Question [SEP] Passage. 符号化の後には、答えのスパンを決定する予測ヘッドが続きます。 答えがない場合、モデルの結果はCLSトークンのゼロレングスのスパンとなります。 ドキュメントと質問の共同エンコーディングは、豊富なインタラクション機能を提供しますが、シーケンスの長さが長くなるため、計算コストが高くなります。 MRCのモデル推論は、質問と文章の長いシーケンスに対して実行時に実行されるため、MRCはretrieverreader QAの主な計算上のボトルネックとなっています。
変圧器モデルの実行時の推論を減らすために、量子化による精度の低下（Zafrir et al., 2019; Shen et al., 2020）、より小さなアーキテクチャへの知識の蒸留（Sanh et al., 2019; Jiao et al., 2019）、二次的な複雑さを減らすための近似マルチヘッドアテンション（Wang et al., 2020; Beltagy et al., 2020）など、いくつかのアイデアがある。 本論文では、効率を向上させるために複数の入力に対する変換符号化をデカップリングするという直交的なアプローチをとり、前述の技術と組み合わせることができる。 非結合型変換器の動機は、オープンドメインQAでは通路が事前に知られており、通路の計算の一部をオフラインで実行して保存することができるからである。 そして、実行時にオンラインで質問の計算を一度だけ実行し、クロスアテンションのある通路からの保存状態と組み合わせることができます。 この非結合型変換器を用いて、オープンドメインMRCの計算コストを30-40%削減し、SQUAD 2.0ベンチマークのF1スコアをわずか1.2ポイントしか低下させることができました。
我々の貢献は以下の通りです。
- オープンドメインQAにおけるMRCのための新しい非結合型変換アプローチを提案し、評価することで、実行時の推論コストを削減します。本手法では、知識蒸留（KD）目的を用いて、標準的な変換器と非結合型変換器の間のギャップを埋める。
- MRCや、言い換え識別や自然言語推論などの自然言語処理（NLP）タスクにおいて、入力間の相互注意がどの程度必要なのかを理解するための実験を行います。
- また、非結合型変換器のオフライン状態に必要な記憶容量を削減するために、正確な表現の圧縮手法を考案した。この圧縮により、Wikipediaのような大規模コーパスのインデックスストレージの必要量を、3.4TBから858GBへと4倍に減らすことができる。
BERTのような大規模な変換モデルは、オープンドメインの質問応答（QA）における機械読解（MRC）で最先端の結果を達成しています。 しかし、変換モデルは推論のための計算コストが高く、音声アシスタントのようなアプリケーションのオンラインQAシステムに適用することは困難です。 そこで、本研究では、変換器のMRCモデルを入力コンポーネントとクロスコンポーネントに分離することを提案する。 この分離により、表現計算の一部をオフラインで実行し、オンラインで使用するためにキャッシュすることができます。 分離された変圧器の精度を維持するために、標準的な変圧器モデルから知識を抽出する目的を考案した。 さらに、学習済みの表現圧縮層を導入することで、キャッシュに必要なストレージ容量を4倍に削減した。 SQUAD 2.0データセットを用いた実験では、非結合型変換器は、標準的な変換器と比較して、F1スコアをわずか1.2ポイント悪化させるだけで、オープンドメインMRCの計算コストとレイテンシーを30-40%削減した。