e4exp
commented
2 years ago 1 はじめに
特定の目的を持ったトピックではなく、任意のトピックに関するチャットを行うオープンドメイン対話は、大規模な言語モデルを学習することで一般的に研究されている(Adiwardana et al., 2020; Zhang et al., 2019; Roller et al., 2020)。 これらのモデルは、人間と人間の会話の大規模なデータセットを用いて、エンコーダ-デコーダまたはデコーダのみの設定で学習され、学習中に得られた知識はモデルの重みに保存される。 このような静的な言語モデルでは、データセットが収集された時点で得られた知識が、学習されたモデルに凍結されてしまうため、日ごと、あるいは分ごとに新しい情報が入ってくる世界のダイナミックな状態を考慮することができません。 このアプローチに対する批判については、(Lazaridou et al., 2021)を参照してください。
さらに、静的言語モデルは幻覚を起こすことが知られています。つまり、事実に反するもっともらしい文を生成してしまうのです。 これは、ニューラルネットワークの重みの中に知識をエンコードするためにトレーニングを採用する際の、非可逆圧縮の一形態と解釈することができます。 本研究では、インターネット上の膨大な知識に動的にアクセスして応答を行うことができる生成モデルを研究しています。 本研究では、エンコーダー・デコーダーアーキテクチャを用いて、対話の文脈が与えられたときに、まず検索クエリを生成するモデルを検討する。 このクエリは、Fusion-in-Decoder法(Izacard and Grave, 2020)を用いてエンコードされた会話履歴の前に付加された関連知識を検索するために使用される。 このエンコードされた知識を考慮して、最終的にデコーダを用いて応答が生成される。 インターネットにアクセスできるということは、固定されたトレーニングセット内の事実しか知らない既存のモデルとは異なり、モデルは常に最新の状態にあるということです。 私たちのモデルは、最新のスポーツのスコア、公開されたばかりの映画やテレビ番組、最新のレビューなど、インターネット上にある無数のトピックを利用できる可能性があります。 このようなモデルを学習・評価するために、我々は人間と人間の会話を含む新しいクラウドソースの英語データセットを収集した。 このデータセットでは、作業者の一人が「ウィザード」の役割を果たし、知識を基にした会話の中で自分の応答に情報を与えるためにインターネット検索を行う。 このタスクにおいて、人間の魔法使いを置き換えるように訓練されたインターネット拡張モデルは、自動評価と人間の評価の両方で、従来の非拡張モデルよりも優れていることが示されました。 インターネットオーグメンテーションの様々な設計方法を詳細に検討し、どの方法が最も優れているかを示し、どのような条件でどのように機能するかを分析しました。 最終的なモデルと、収集した新しいタスクを公開し、オープンソースとして提供します1。
地球上で継続的に更新される知識の最大の貯蔵庫は、インターネット検索によってアクセスすることができます。 本研究では、この情報へのアクセスを会話エージェントに与えることを研究する。 大規模な言語モデルは、その重みの中に膨大な量の知識を格納しているにもかかわらず、対話を生成する際に事実を幻視することが知られている(Shuster et al., 2021)。 さらに、それらの事実はモデルの学習時点で時間的に凍結されている。 これに対して、我々は、文脈に基づいてインターネット検索クエリを生成することを学習し、検索結果を条件として最終的に応答を生成するという、最新の関連情報を採用できる手法を提案する。
本研究では、新たに収集した人間と人間の会話のデータを用いて、このようなモデルを学習・評価しました。 その結果、検索クエリに基づく会話中のインターネットへのアクセスは、オーグメンテーションを用いないアプローチや、FAISSに基づく検索を用いる既存のアプローチと比較して、優れた性能を発揮することがわかった（Lewis et al.、2020）。