Fine-tuning Language Models for Factuality

[tma15]

https://arxiv.org/pdf/2311.08401.pdf

概要

人手によるラベル付けなしに、事実性に対する選好データを自動で用意。Direct Preference Optimizationを使ってLLMを学習。事実性に対する選好データを作成するために、Wikipediaを使ってより事実を含んでいそうな度合いを使う方法と、モデルの信頼度を使う方法を試した。

Wikipediaを使った信頼性の推定

• GPT-3.5を使ってモデルの出力結果からatomic axioms (最小の事実文) を抽出
• FactScore (事実性に対してfine-tuneされたLlama-1-7B) を使ってatomic axiomsの尤度を求める
• atomic axiomsの尤度の平均を、その出力結果の信頼性とする

モデルの信頼度を使った推定

• GPT-3.5を使ってモデルの出力結果からatomic axioms (最小の事実文) を抽出
• atomic axiomsを質問文に言い換える
• Llama-1-7Bを使って質問文に対して20の出力を得る
• 出力の頻度の割合を信頼度とする（ストップワードを除き単語が一致するものを共通の出力とする）