Re-Reading Improves Reasoning in Language Models, Xiaohan Xu+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2309.06275

  Affiliations

  • Xiaohan Xu, N/A
  • Chongyang Tao, N/A
  • Tao Shen, N/A
  • Can Xu, N/A
  • Hongbo Xu, N/A
  • Guodong Long, N/A
  • Jian-guang Lou, N/A

    Abstract

  • Reasoning presents a significant and challenging issue for Large LanguageModels (LLMs). The predominant focus of research has revolved around developingdiverse prompting strategies to guide and structure the reasoning processes ofLLMs. However, these approaches based on decoder-only causal language modelsoften operate the input question in a single forward pass, potentially missingthe rich, back-and-forth interactions inherent in human reasoning. Scantattention has been paid to a critical dimension, i.e., the input questionitself embedded within the prompts. In response, we introduce a deceptivelysimple yet highly effective prompting strategy, termed question "re-reading".Drawing inspiration from human learning and problem-solving, re-reading entailsrevisiting the question information embedded within input prompts. Thisapproach aligns seamlessly with the cognitive principle of reinforcement,enabling LLMs to extract deeper insights, identify intricate patterns,establish more nuanced connections, and ultimately enhance their reasoningcapabilities across various tasks. Experiments conducted on a series ofreasoning benchmarks serve to underscore the effectiveness and generality ofour method. Moreover, our findings demonstrate that our approach seamlesslyintegrates with various language models, though-eliciting prompting methods,and ensemble techniques, further underscoring its versatility and compatibilityin the realm of LLMs.

    Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）にとって、推論は重要で困難な問題です。これまでの研究の主な焦点は、LLMsの推論プロセスをガイドし構造化するための多様なプロンプティング戦略の開発に集中してきました。しかし、これらのデコーダーのみからなる因果関係のある言語モデルに基づくアプローチは、入力質問を単一の順方向のパスで処理するため、人間の推論に固有の豊かな双方向の相互作用を見逃す可能性があります。質問自体がプロンプトに埋め込まれた重要な次元にはほとんど注意が払われていません。この問題に対応するため、私たちは「質問の再読」という単純で効果的なプロンプティング戦略を提案します。再読は、入力プロンプトに埋め込まれた質問情報を再訪することを意味します。このアプローチは、強化の認知原則とシームレスに一致し、LLMsがより深い洞察を抽出し、複雑なパターンを特定し、より微妙な関連性を確立し、さまざまなタスクで推論能力を向上させることができます。一連の推論ベンチマークで行われた実験は、私たちの手法の効果と汎用性を裏付けるものです。さらに、私たちの結果は、私たちのアプローチがさまざまな言語モデル、プロンプティング方法、アンサンブル技術とシームレスに統合されることを示しており、LLMsの領域でのその汎用性と互換性を強調しています。

  Summary (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）において、推論は重要で困難な問題です。従来のアプローチでは、プロンプティング戦略を開発することに焦点が当てられてきましたが、双方向の相互作用や質問の重要性には注意が払われていませんでした。この問題に対処するため、質問の再読という新しいプロンプティング戦略を提案します。再読は、質問情報を再訪することで、LLMsの推論能力を向上させることができます。実験結果は、この手法の効果と汎用性を示しており、LLMsの領域でのその有用性を強調しています。

[AkihikoWatanabe]

問題文を2,3回promptで繰り返すだけで、数学のベンチマークとCommonsenseのベンチマークの性能が向上したという非常に簡単なPrompting。self-consistencyなどの他のPromptingとの併用も可能。 なぜ性能が向上するかというと、

1. LLMはAuporegressiveなモデルであり、bidirectionalなモデルではない。このため、forwardパスのみでは読解力に限界がある。（たとえば人間はしばしばテキストを読み返したりする）。そこで、一度目の読解で概要を理解し、二度目の読解でsalience partを読み込むといったような挙動を実現することで、より問題文に対するComprehensionが向上する。
2. LLMはしばしばpromptの重要な箇所の読解を欠落させてしまう。たとえば、#793 では、promptのmiddle partを軽視する傾向があることが示されている。このような現象も軽減できると考えられる。

問題文の繰り返しは、3回までは性能が向上する。

[AkihikoWatanabe]

このpromptingは複雑な問題であればあるほど効果があると推察される。