Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models, Huaixiu Steven Zheng+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.06117

  Affiliations

  • Huaixiu Steven Zheng, N/A
  • Swaroop Mishra, N/A
  • Xinyun Chen, N/A
  • Heng-Tze Cheng, N/A
  • Ed H. Chi, N/A
  • Quoc V Le, N/A
  • Denny Zhou, N/A

    Abstract

  • We present Step-Back Prompting, a simple prompting technique that enablesLLMs to do abstractions to derive high-level concepts and first principles frominstances containing specific details. Using the concepts and principles toguide the reasoning steps, LLMs significantly improve their abilities infollowing a correct reasoning path towards the solution. We conduct experimentsof Step-Back Prompting with PaLM-2L models and observe substantial performancegains on a wide range of challenging reasoning-intensive tasks including STEM,Knowledge QA, and Multi-Hop Reasoning. For instance, Step-Back Promptingimproves PaLM-2L performance on MMLU Physics and Chemistry by 7% and 11%,TimeQA by 27%, and MuSiQue by 7%.

    Translation (by gpt-3.5-turbo)

• Step-Back Promptingというシンプルなプロンプティング技術を提案します。この技術により、大規模言語モデル（LLMs）は具体的な詳細を含むインスタンスから高レベルの概念や基本原則を抽象化することができます。これらの概念や原則を使用して推論の手順をガイドすることで、LLMsは正しい推論経路をたどる能力を大幅に向上させます。PaLM-2Lモデルを用いたStep-Back Promptingの実験を行い、STEM、Knowledge QA、およびMulti-Hop Reasoningなどの推論集中型のタスクにおいて大幅な性能向上が観察されました。例えば、Step-Back Promptingは、MMLU Physics and ChemistryでPaLM-2Lの性能を7%、11%向上させ、TimeQAでは27%、MuSiQueでは7%向上させました。

  Summary (by gpt-3.5-turbo)

• Step-Back Promptingは、大規模言語モデル（LLMs）を使用して推論の手順をガイドするシンプルなプロンプティング技術です。この技術により、LLMsは具体的な詳細から高レベルの概念や基本原則を抽象化し、正しい推論経路をたどる能力を向上させることができます。実験により、Step-Back PromptingはSTEM、Knowledge QA、Multi-Hop Reasoningなどのタスクにおいて大幅な性能向上が観察されました。具体的には、MMLU Physics and Chemistryで7%、11%、TimeQAで27%、MuSiQueで7%の性能向上が確認されました。

[AkihikoWatanabe]

また新しいのが出た

[AkihikoWatanabe]