Thinking LLMs: General Instruction Following with Thought Generation, Tianhao Wu+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2410.10630

  Affiliations

  • Tianhao Wu, N/A
  • Janice Lan, N/A
  • Weizhe Yuan, N/A
  • Jiantao Jiao, N/A
  • Jason Weston, N/A
  • Sainbayar Sukhbaatar, N/A

    Abstract

  • LLMs are typically trained to answer user questions or follow instructions similarly to how human experts respond. However, in the standard alignment framework they lack the basic ability of explicit thinking before answering. Thinking is important for complex questions that require reasoning and planning -- but can be applied to any task. We propose a training method for equipping existing LLMs with such thinking abilities for general instruction following without use of additional human data. We achieve this by an iterative search and optimization procedure that explores the space of possible thought generations, allowing the model to learn how to think without direct supervision. For each instruction, the thought candidates are scored using a judge model to evaluate their responses only, and then optimized via preference optimization. We show that this procedure leads to superior performance on AlpacaEval and Arena-Hard, and shows gains from thinking on non-reasoning categories such as marketing, health and general knowledge, in addition to more traditional reasoning & problem-solving tasks.

    Translation (by gpt-4o-mini)

• LLMsは通常、ユーザーの質問に答えたり、指示に従ったりするために訓練されており、これは人間の専門家が応答する方法に似ています。しかし、標準的なアライメントフレームワークでは、回答する前に明示的に考える基本的な能力が欠けています。思考は、推論や計画を必要とする複雑な質問にとって重要ですが、あらゆるタスクに適用可能です。本研究では、追加の人間データを使用せずに、既存のLLMに一般的な指示に従うための思考能力を装備するための訓練方法を提案します。これは、可能な思考生成の空間を探索する反復的な検索と最適化手順によって実現され、モデルが直接的な監視なしに思考する方法を学ぶことを可能にします。各指示に対して、思考候補は応答のみを評価するために判定モデルを使用してスコア付けされ、その後、好みの最適化を通じて最適化されます。この手順がAlpacaEvalおよびArena-Hardで優れたパフォーマンスをもたらし、推論に関するタスクに加えて、マーケティング、健康、一般知識などの非推論カテゴリでも思考による向上が見られることを示します。

  Summary (by gpt-4o-mini)

• LLMsに思考能力を装備するための訓練方法を提案。反復的な検索と最適化手順を用いて、モデルが監視なしで思考する方法を学ぶ。指示に対する思考候補を判定モデルで評価し、最適化を行うことで、AlpacaEvalやArena-Hardで優れたパフォーマンスを達成。推論タスクだけでなく、マーケティングや健康などの非推論カテゴリでも向上が見られる。

[AkihikoWatanabe]

これは後でしっかり読んだほうがいい。 LLMに回答を生成させる前にThinkingさせるように学習させるフレームワークThought Prederence Optimization（TPO）を提案