e4exp
commented
2 years ago 1 はじめに
新しいタスクでMLモデルを学習するためには，どの行動が良くて，どの行動が悪いかをモデルに伝える学習信号が必要です． ビデオゲームのようないくつかのタスクでは、このトレーニング信号は自動的に計算できます。 しかし、多くの有用なタスクにおいて、正確なトレーニング信号は、人間がループの中にいなければ提供できません。 例えば、人間は正しい動作のデモンストレーションを提供したり（Bain and Sammut, 1995）、学習されるモデルからの2つの出力を比較したり（Christiano et al, 2017）することができ、このデータはモデルの学習に使用される。 本稿では、タスクが多くの時間を要するため、あるいは評価に専門的な知識やノウハウを必要とするために、人間が監督や評価を行うことが困難なタスクに焦点を当てます。 例えば、科学研究のサブフィールド全体を要約するモデルを学習するとします。 人間がデモンストレーションを行ったり、モデルが生成した要約の品質を評価したりするには、膨大な時間と専門知識が必要になるでしょう。
測定しやすい代理目標（要約中の単語がトピックに関連する頻度や、要約中の個々の文章の正確さなど）を使用することで、この困難を回避することもできますが、これらの代理目標は通常、実際の目標とはあまり一致せず、最適化することで意図しない結果を招く可能性があります（Clark and Amodei, 2016; Krakovna et al, 2020; Amodei et al, 2016）。 このようなタスクでMLシステムをうまくトレーニングするには、効果的なトレーニング信号を生成するためのよりスケーラブルな手段が必要になります
-この問題はスケーラブルなオーバーサイトとして知られています（Amodei et al.2016）。 スケーラブルオーバーサイトに対する我々のアプローチは、タスクの分解（Singh, 1992; Dayan and Hinton, 1993）と人間のフィードバックからの学習を利用するChristianoら（2018）とLeikeら（2018）に直接インスパイアされています。 高いレベルでは、これらの方法は、トップレベルのタスクを取り、その答えが人間がトップレベルのタスクを解決または評価するのに役立ついくつかの小さなサブタスクに分解します。 これらのサブタスクは、さらに小さなタスクに分解され、人間がリーフタスクのトレーニング信号を提供することが可能になります。
MLモデルは、リーフタスクを解いたり、下位タスクの答えを与えられた上位タスクを解いたり、難しいタスクをサブタスクに分解したりするように学習することができます。 Dayan and Hinton (1993)とChristiano et al. (2018)は単純なアルゴリズムのタスクでしか試していませんが、Perez et al. (2020)とRajani et al. (2019)は、分解のシングルステップを使用して質問応答タスクに同様のアイデアを使用しています。
我々は、タスク分解を抽象的な書籍の要約にスケーリングすることで、この方向に一歩進んでいます。 抽象的な本の要約は難しいタスクであり、データセットの収集は困難であり(Mihalcea and Ceylan, 2007; Ladhak et al., 2020; Krysci ´ nski et al., 2021)、既存の手法´は一般的に抽出的(Radev et al., 2004; Mihalcea and Tarau, 2004; Bamman and Smith, 2013; Ladhak et al., 2020)か、より短いストーリーに焦点を当てている(Kazantseva, 2006; Zhang et al., 2019b)かのいずれかである。 私たちは、長文要約のための自然なタスク分解を実装しています。 まず、本の小さな部分を要約するモデルを訓練し、次にこれらのモデルを使って人間が本の大きな部分を要約するのを助け、この戦略を再帰的に続けます。 我々は、標準的なクロスエントロピーの行動クローニング（BC）と人間の好みからの強化学習（RL）を用いて、これらのタスクを実行するために単一のモデルを訓練する（Christiano et al.
我々の主な成果は、本全体のもっともらしい要約を生成するために再帰的に適用できるモデルである。 非再帰的なアプローチでは、本の要約を生成または評価するためには、人間が本全体を読む必要があるため、このようなデータセットを素朴に収集すると、データポイントあたり50倍以上のコストがかかります（Appendix E.2参照）。
これらの要約には、本からの重要な出来事が含まれており、これらの詳細を抽象的に合成することもありますが、重要な詳細が抜け落ちていたり、広い文脈を把握できていないことが多くあります。 定量的に評価すると、我々のモデルは行動クローニングのベースラインを大幅に上回り、少数の要約が人間レベルの品質に近づいています。 また、本の小さな部分を要約する際に、RLとBCを比較する実験を行い、RLの方が優れたスケーリング特性を持っていることを発見しました。 また、NarrativeQA question-answering dataset (Kocisk ˇ y et al., 2018) を用いて我々のサマリーを評価したところ、我々のサマリーを入力とするゼロショットモデルは、本や映画の脚本に関する質問に答えることで、最先端の結果を達成しました。 また、最近のBookSumデータセット(Krysci ´ nski et al., 2021)においても、本の長さの要約について最先端の結果を得ることができました。 全体として、我々の結果は、再帰的タスク分解と人間のフィードバックからの学習を組み合わせることで、困難な長文NLPタスクのスケーラブルなオーバーサイトへの実用的なアプローチとなり得ることを示している。 私たちの研究が、より困難なタスクの訓練信号を人間が提供するのを助けるために、より単純なタスクで訓練されたモデルを使用する研究を促進することを願っています。
機械学習を拡張するための大きな課題は、人間が評価することが非常に困難または時間のかかるタスクを実行するモデルをトレーニングすることです。 本発表では、小説全体を抽象的に要約するタスクにおけるこの問題の進展を紹介する。 我々の手法は、人間のフィードバックからの学習と、再帰的なタスク分解を組み合わせたもので、タスクのより小さな部分で訓練されたモデルを用いて、より広範なタスクに対する人間のフィードバックを支援します。 人間のラベラーから大量のデモと比較を収集し、行動クローニングと報酬モデルを用いてGPT-3を微調整し、再帰的に要約を行うようにします。 推論時に、このモデルはまず本の小さなセクションを要約し、次にこれらの要約を再帰的に要約して本全体の要約を作成する。 人間のラベラーは、本を全部読んでいないにもかかわらず、モデルの監督と評価を素早く行うことができる。 その結果，我々のモデルは書籍全体の良識ある要約を生成し，少数のケース（書籍の約5%）では人間が書いた要約の品質に匹敵することさえある． 本の長さを要約するための最近のデータセットであるBookSumにおいて、最先端の結果を得ることができた。 また、これらの要約を用いたゼロショット質問応答モデルは、書籍や映画の脚本に関する質問に答えるという難易度の高いNarrativeQAベンチマークにおいて、最先端の結果を得ることができました。 このモデルから得られたサンプルのデータセットを公開します。