e4exp
commented
3 years ago introduction
対話は、日常生活、職場、オンラインフォーラムなどの対人関係において重要な役割を果たしており、学術界と産業界の両方から幅広く注目されています(Zhang et al. 2020b)。 音声認識システムの発達やリモートワークの必要性の高まりにより、会議の議事録やインタビュー、ディベートなど、長時間の会話を記録し、書き起こすケースが増えています。 このような長い会話は、情報量が多いため、ユーザーが要点を素早く理解し、関連情報を抽出することが課題となっています。 このような課題に対処するために、対話の要約、対話に基づく質問応答、対話のセグメンテーションなど、多くのNLPタスクが提案されている(Feng, Feng, and Qin 2021; Feng et al. 2021; Zhong et al. 2021; Zou et al. 2021a,b; Chen et al. 2021b; Koay et al. 2021; Hsueh, Moore, and Renals 2006)。 しかし、ニュースのような単調なテキストとは異なり、長い会話は対話的な構造と長い入力を持ち、現在のNLPシステムでは処理することが困難です。 そのため、長い会話全体をより良く理解し、要約できるモデルを模索することが現実的に必要とされている。
最近では、事前に訓練されたニューラル言語モデルが、様々な自然言語タスクで顕著な成功を収めている（Devlin et al.2018; Liu et al.2019）。 しかし、これらの汎用モデルは、普遍的な目的を持つ自由形式のテキストデータで事前に学習されています。 これは強力な文脈に基づいた言語表現を得ることができるが、特定のドメインでの能力を制限することにもなる。 これに触発され、会話応答生成(Zhang et al. 2020b)、会話応答ランキング(Gao et al. 2020)、マルチパーティ会話理解(Gu et al. 2021)などの異なるタスクに取り組むために、いくつかの対話関連の事前学習モデルが提案されている。 しかし、これらのモデルは、短い会話（例えば、通常200語以下）に限定されており、したがって、より多くの話者や発話を伴う長い対話（通常5,000語以上）を扱うことはできない。
一方、長いシーケンスに関しては、その後の研究では、自己注意法の改善（Kitaev, Kaiser, and Levskaya 2020; Wang et al. 2020a）や、ローカル情報とグローバル情報の相互作用の促進（Beltagy, Peters, and Cohan 2020; Zaheer et al. しかし、これらのシステムは対話のために設計されていないため、対話構造に関する限られた知識を学習する。 一般的に、既存のモデルはいずれも長い会話を扱う際にジレンマを抱えている。
本論文では、DIALOGLMを紹介する。 これは、長い対話の理解と要約のための、事前に学習されたニューラル・エンコーダ・デコーダ・モデルである。 DIALOGLMは、sequence-to-sequenceモデルのアーキテクチャに基づいて構築されており、幅広い自然言語処理タスクに適用することができる。 図1に示すように、我々は大規模な対話コーパスを用いた窓ベースのノイズ除去事前学習タスクを提案する。
(1)会話から複数の連続したターンを含むウィンドウを選択し、 (2)任意の対話関連ノイズをウィンドウに注入し、 (3)会話の残りの部分に基づいてこのウィンドウを復元するようにモデルを訓練する。
直感的には、会話者の話し方やトピックの内容は長い会話の中で分散して存在するため、事前に学習されたモデルは、ノイズのある窓を復元できるはずです。 PEGASUS (Zhang et al. 2020a) のような文レベルのマスキングと比較して、複数のターンで構成されたウィンドウには、よりまとまりのある情報的なテキストが含まれており、これは対話の形式を認識するために重要である。 BART (Lewis et al. 2020) のようなフルテキストのノイズ除去と比較して、ウィンドウベースの手法は、より少ない計算資源を必要とするだけでなく、長いシーケンスを扱う際に大きな利点があるだけでなく、ダイアログサマリーのような下流のタスクにも適している。
さらに、ダイアログの特徴に基づいてノイズウィンドウを生成するために、5種類のプレトレーニングノイズを設計する。 話者マスク、ターンスプリッティング、ターンマージ、テキストインフィリング、ターンパーミュテーションです。 これらの挑戦的な変換は、話者と発話の内容と順序の両方を混乱させます。 したがって、ウィンドウを再構築するために、DIALOGLMは話者と発話のペアの特別なフォーマットとテキスト・スタイルを完全に理解し、完全な対話の一般的な内容を把握しなければなりません。 さらに、より長いシーケンスを処理し、学習時間を短縮するために、ハイブリッドな注目法をモデルに導入しています。
ほとんどの神経層では、局所的な情報を捉えるためにスパースアテンション法(Tay et al. 2020)を利用し、その他の層では、対話の意味を完全に把握するためにグローバルな自己注意を利用しています。 このハイブリッドな注目法により、DIALOGLMは8,000以上の入力単語を受け入れながら、優れたモデル性能を実現しています。 実験の結果、DIALOGLMは長時間の対話理解と要約のタスクにおいて、従来のモデルを大差で上回った。 具体的には、対話の要約と抽象的な質問応答において、我々のモデルは、会議や脚本の領域を含む5つのデータセットにおいて、事前に学習されたモデルBARTとLongformer(Beltagy, Peters, and Cohan 2020)を上回り、複数のデータセットで新たな最先端の結果を達成した。 また、DIALOGLMは、ダイアログ・セグメンテーション・タスクにおいて、強力なベースライン・モデルよりも優れていることを示している。 DIALOGLMは、事前学習フレームワークにおける各コンポーネントの有効性を検証しました。 この結果は、対話からヒントを得た各ノイズと、提案されたハイブリッドな注目法が、モデルにさらなる改善をもたらすことを示しています。
自動評価に加えて、生成タスクについては、生成されたシーケンスに対して、流暢性、情報性、元のダイアログへの忠実性の3つの次元から人間による評価を行っている。 これまでの強力なモデルと比較して、DialogLMは様々な観点から大きなメリットをもたらします。
対話は、人間のコミュニケーションや協調に不可欠な要素です。 既存の研究では、主に1対1での短い対話シナリオに焦点を当てています。 しかし、現実の世界では、会議やインタビューのような複数人での対話は、数千語以上に及ぶことも少なくありません。 このような長い対話を理解し処理するための対応する研究や強力なツールはまだ不足しています。 そこで、本研究では、長い対話の理解と要約のための事前学習フレームワークを提示する。 長い会話の性質を考慮して、我々は生成的な事前学習のために窓ベースのノイズ除去アプローチを提案する。 この手法では、1つの対話に対して、テキストのウィンドウを対話にインスパイアされたノイズで破損し、残りの会話の内容に基づいてこのウィンドウを再構築するようにモデルを誘導する。 さらに、より長い入力を処理するために、モデルにスパースアテンションを追加し、従来のアテンションとハイブリッドに組み合わせています。 本研究では、対話の要約、抽象的な質問への回答、トピックのセグメンテーションなどのタスクをカバーする、長い対話を含む5つのデータセットを用いて広範な実験を行った。 実験の結果、我々の学習済みモデルであるDialogLMは、データセットやタスクに関わらず、最先端のモデルを大幅に上回ることが分かった。