When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs, Ryo Kamoi+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2406.01297

  Affiliations

  • Ryo Kamoi, N/A
  • Yusen Zhang, N/A
  • Nan Zhang, N/A
  • Jiawei Han, N/A
  • Rui Zhang, N/A

    Abstract

  • Self-correction is an approach to improving responses from large language models (LLMs) by refining the responses using LLMs during inference. Prior work has proposed various self-correction frameworks using different sources of feedback, including self-evaluation and external feedback. However, there is still no consensus on the question of when LLMs can correct their own mistakes, as recent studies also report negative results. In this work, we critically survey broad papers and discuss the conditions required for successful self-correction. We first find that prior studies often do not define their research questions in detail and involve impractical frameworks or unfair evaluations that over-evaluate self-correction. To tackle these issues, we categorize research questions in self-correction research and provide a checklist for designing appropriate experiments. Our critical survey based on the newly categorized research questions shows that (1) no prior work demonstrates successful self-correction with feedback from prompted LLMs, except for studies in tasks that are exceptionally suited for self-correction, (2) self-correction works well in tasks that can use reliable external feedback, and (3) large-scale fine-tuning enables self-correction.

    Translation (by gpt-4o-mini)

• 自己修正は、大規模言語モデル（LLMs）からの応答を改善するためのアプローチであり、推論中にLLMsを使用して応答を洗練させることを目的としています。これまでの研究では、自己評価や外部フィードバックなど、さまざまなフィードバック源を使用した自己修正フレームワークが提案されています。しかし、LLMsが自らの誤りを修正できるタイミングについては依然として合意が得られておらず、最近の研究では否定的な結果も報告されています。本研究では、広範な文献を批判的に調査し、成功する自己修正に必要な条件について議論します。まず、従来の研究が研究課題を詳細に定義していないことが多く、実用的でないフレームワークや自己修正を過大評価する不公平な評価を含んでいることを発見しました。これらの問題に対処するために、自己修正研究における研究課題を分類し、適切な実験を設計するためのチェックリストを提供します。新たに分類された研究課題に基づく批判的調査の結果、(1) 従来の研究の中で、自己修正が促されたLLMsからのフィードバックを用いて成功した例はなく、自己修正に特に適したタスクに関する研究を除く、(2) 自己修正は信頼できる外部フィードバックを利用できるタスクでうまく機能する、(3) 大規模なファインチューニングが自己修正を可能にすることが示されました。

  Summary (by gpt-4o-mini)

• 自己修正はLLMsの応答を改善する手法であり、フィードバック源の利用が提案されているが、誤り修正のタイミングについては合意が得られていない。本研究では、自己修正に必要な条件を議論し、従来の研究の問題点を指摘。新たに分類した研究課題に基づき、自己修正が成功した例がないこと、信頼できる外部フィードバックが重要であること、大規模なファインチューニングが効果的であることを示した。

[AkihikoWatanabe]

LLMのself-correctionに関するサーベイ

[AkihikoWatanabe]

[AkihikoWatanabe]

[AkihikoWatanabe]