ReFT: Reasoning with Reinforced Fine-Tuning, Trung Quoc Luong+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2401.08967

  Affiliations

  • Trung Quoc Luong, N/A
  • Xinbo Zhang, N/A
  • Zhanming Jie, N/A
  • Peng Sun, N/A
  • Xiaoran Jin, N/A
  • Hang Li, N/A

    Abstract

  • One way to enhance the reasoning capability of Large Language Models (LLMs) is to conduct Supervised Fine-Tuning (SFT) using Chain-of-Thought (CoT) annotations. This approach does not show sufficiently strong generalization ability, however, because the training only relies on the given CoT data. In math problem-solving, for example, there is usually only one annotated reasoning path for each question in the training data. Intuitively, it would be better for the algorithm to learn from multiple annotated reasoning paths given a question. To address this issue, we propose a simple yet effective approach called Reinforced Fine-Tuning (ReFT) to enhance the generalizability of learning LLMs for reasoning, with math problem-solving as an example. ReFT first warmups the model with SFT, and then employs on-line reinforcement learning, specifically the PPO algorithm in this paper, to further fine-tune the model, where an abundance of reasoning paths are automatically sampled given the question and the rewards are naturally derived from the ground-truth answers. Extensive experiments on GSM8K, MathQA, and SVAMP datasets show that ReFT significantly outperforms SFT, and the performance can be potentially further boosted by combining inference-time strategies such as majority voting and re-ranking. Note that ReFT obtains the improvement by learning from the same training questions as SFT, without relying on extra or augmented training questions. This indicates a superior generalization ability for ReFT.

    Translation (by gpt-4o-mini)

• 大規模言語モデル（LLMs）の推論能力を向上させる一つの方法は、Chain-of-Thought（CoT）アノテーションを用いた監視付きファインチューニング（SFT）を行うことです。しかし、このアプローチは与えられたCoTデータのみに依存するため、十分な一般化能力を示しません。例えば、数学の問題解決においては、トレーニングデータ内の各質問に対して通常、1つのアノテーションされた推論パスしか存在しません。直感的には、アルゴリズムが質問に対して複数のアノテーションされた推論パスから学ぶ方が良いでしょう。この問題に対処するために、数学の問題解決を例に挙げて、推論のためのLLMsの一般化能力を向上させるシンプルでありながら効果的なアプローチである強化ファインチューニング（ReFT）を提案します。ReFTはまずSFTでモデルをウォームアップし、その後、オンライン強化学習、具体的には本論文でのPPOアルゴリズムを用いてモデルをさらにファインチューニングします。この際、質問に対して豊富な推論パスが自動的にサンプリングされ、報酬は真の答えから自然に導かれます。GSM8K、MathQA、SVAMPデータセットにおける広範な実験により、ReFTはSFTを大幅に上回る性能を示し、さらに多数決や再ランキングなどの推論時戦略を組み合わせることで性能が向上する可能性があります。なお、ReFTはSFTと同じトレーニング質問から学ぶことで改善を得ており、追加のトレーニング質問や拡張された質問には依存していません。これは、ReFTの優れた一般化能力を示しています。

  Summary (by gpt-4o-mini)

• 強化ファインチューニング（ReFT）を提案し、LLMsの推論能力を向上。SFTでモデルをウォームアップ後、PPOアルゴリズムを用いてオンライン強化学習を行い、豊富な推論パスを自動サンプリング。GSM8K、MathQA、SVAMPデータセットでSFTを大幅に上回る性能を示し、追加のトレーニング質問に依存せず優れた一般化能力を発揮。