Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations?, Zorik Gekhman+, N/A, EMNLP'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2405.05904

  Affiliations

  • Zorik Gekhman, N/A
  • Gal Yona, N/A
  • Roee Aharoni, N/A
  • Matan Eyal, N/A
  • Amir Feder, N/A
  • Roi Reichart, N/A
  • Jonathan Herzig, N/A

    Abstract

  • When large language models are aligned via supervised fine-tuning, they may encounter new factual information that was not acquired through pre-training. It is often conjectured that this can teach the model the behavior of hallucinating factually incorrect responses, as the model is trained to generate facts that are not grounded in its pre-existing knowledge. In this work, we study the impact of such exposure to new knowledge on the capability of the fine-tuned model to utilize its pre-existing knowledge. To this end, we design a controlled setup, focused on closed-book QA, where we vary the proportion of the fine-tuning examples that introduce new knowledge. We demonstrate that large language models struggle to acquire new factual knowledge through fine-tuning, as fine-tuning examples that introduce new knowledge are learned significantly slower than those consistent with the model's knowledge. However, we also find that as the examples with new knowledge are eventually learned, they linearly increase the model's tendency to hallucinate. Taken together, our results highlight the risk in introducing new factual knowledge through fine-tuning, and support the view that large language models mostly acquire factual knowledge through pre-training, whereas fine-tuning teaches them to use it more efficiently.

    Translation (by gpt-4o-mini)

• 大規模言語モデルが監視付きファインチューニングを通じて調整されると、事前学習を通じて取得されていない新しい事実情報に遭遇することがあります。このことは、モデルが既存の知識に基づかない事実を生成するように訓練されるため、事実に基づかない応答を幻覚する行動を学習する可能性があるとしばしば推測されています。本研究では、新しい知識へのこうした曝露がファインチューニングされたモデルの既存の知識を活用する能力に与える影響を調査します。そのために、閉じた書籍のQAに焦点を当て、新しい知識を導入するファインチューニング例の割合を変化させる制御された設定を設計しました。我々は、大規模言語モデルがファインチューニングを通じて新しい事実知識を獲得するのに苦労することを示します。新しい知識を導入するファインチューニング例は、モデルの知識と一致する例よりもはるかに遅く学習されます。しかし、新しい知識を持つ例が最終的に学習されるにつれて、モデルの幻覚する傾向が線形に増加することも発見しました。これらの結果を総合すると、ファインチューニングを通じて新しい事実知識を導入することのリスクが浮き彫りになり、大規模言語モデルは主に事前学習を通じて事実知識を獲得し、ファインチューニングはそれをより効率的に使用することを教えるという見解を支持します。

  Summary (by gpt-4o-mini)

• 大規模言語モデルはファインチューニングを通じて新しい事実情報に遭遇するが、既存の知識を活用する能力に影響を与える。研究では、閉じた書籍のQAを用いて新しい知識を導入するファインチューニング例の割合を変化させた結果、モデルは新しい知識を学習するのに苦労し、幻覚する傾向が増加することが示された。これにより、ファインチューニングによる新しい知識の導入のリスクが明らかになり、モデルは事前学習を通じて知識を獲得し、ファインチューニングはその利用を効率化することが支持される。

[AkihikoWatanabe]

pre-training時に獲得されていない情報を用いてLLMのalignmentを実施すると、知識がない状態で学習データを正しく予測できるように学習されてしまうため、事実に基づかない回答をする（つまりhallucination）ように学習されてしまう、といったことを調査している模様。

新しい知識を導入するファインチューニング例は、モデルの知識と一致する例よりもはるかに遅く学習されます。しかし、新しい知識を持つ例が最終的に学習されるにつれて、モデルの幻覚する傾向が線形に増加することも発見しました。

早々にoverfittingしている。

大規模言語モデルは主に事前学習を通じて事実知識を取得し、ファインチューニングはそれをより効率的に使用することを教えるという見解を支持しています。

なるほど、興味深い。

[AkihikoWatanabe]

下記画像は #1370より引用

本論文中では、full finetuningによる検証を実施しており、LoRAのようなAdapterを用いたテクニックで検証はされていない。LoRAではもともとのLLMのパラメータはfreezeされるため、異なる挙動となる可能性がある。特にLoRAが新しい知識を獲得可能なことが示されれば、LoRA AdapterをもともとのLLMに付け替えるだけで、異なる知識を持ったLLMを運用可能になるため、インパクトが大きいと考えられる。もともとこういった思想は LoRA Hubを提唱する研究などの頃からあった気がするが、AdapterによってHallucination/overfittingを防ぎながら、新たな知識を獲得できることを示した研究はあるのだろうか？