Large Language Models as Analogical Reasoners, Michihiro Yasunaga+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.01714

  Affiliations

  • Michihiro Yasunaga, N/A
  • Xinyun Chen, N/A
  • Yujia Li, N/A
  • Panupong Pasupat, N/A
  • Jure Leskovec, N/A
  • Percy Liang, N/A
  • Ed H. Chi, N/A
  • Denny Zhou, N/A

    Abstract

  • Chain-of-thought (CoT) prompting for language models demonstrates impressiveperformance across reasoning tasks, but typically needs labeled exemplars ofthe reasoning process. In this work, we introduce a new prompting approach,Analogical Prompting, designed to automatically guide the reasoning process oflarge language models. Inspired by analogical reasoning, a cognitive process inwhich humans draw from relevant past experiences to tackle new problems, ourapproach prompts language models to self-generate relevant exemplars orknowledge in the context, before proceeding to solve the given problem. Thismethod presents several advantages: it obviates the need for labeling orretrieving exemplars, offering generality and convenience; it can also tailorthe generated exemplars and knowledge to each problem, offering adaptability.Experimental results show that our approach outperforms 0-shot CoT and manualfew-shot CoT in a variety of reasoning tasks, including math problem solving inGSM8K and MATH, code generation in Codeforces, and other reasoning tasks inBIG-Bench.

    Translation (by gpt-3.5-turbo)

• 抽象的な思考（CoT）プロンプティングは、言語モデルによる推論タスクで印象的なパフォーマンスを示していますが、通常は推論プロセスのラベル付きの例示が必要です。 本研究では、大規模言語モデルの推論プロセスを自動的にガイドするための新しいプロンプティング手法であるアナロジカルプロンプティングを紹介します。 アナロジカルリーズニングに触発されたこの手法では、人間が関連する過去の経験を引用して新しい問題に取り組む認知プロセスに倣い、言語モデルに対して与えられた問題を解決する前に、文脈内で関連する例示や知識を自己生成させるように促します。 この手法にはいくつかの利点があります。例示のラベリングや検索の必要性を排除し、一般性と便利さを提供します。また、生成される例示や知識を各問題に合わせて調整することも可能で、適応性を提供します。 実験結果は、本手法がGSM8KやMATHの数学問題解決、Codeforcesのコード生成、BIG-Benchの他の推論タスクを含むさまざまな推論タスクで、0-shot CoTや手動のfew-shot CoTを上回ることを示しています。

  Summary (by gpt-3.5-turbo)

• 本研究では、言語モデルの推論プロセスを自動的にガイドするための新しいプロンプティング手法であるアナロジカルプロンプティングを提案しています。この手法は、関連する過去の経験を引用して新しい問題に取り組む認知プロセスに倣い、問題を解決する前に文脈内で関連する例示や知識を自己生成させるように言語モデルに促します。この手法は、例示のラベリングや検索の必要性を排除し、一般性と適応性を提供します。実験結果は、この手法がさまざまな推論タスクで他の手法を上回ることを示しています。

[AkihikoWatanabe]

以下、著者ツイートのざっくり翻訳: https://x.com/michiyasunaga/status/1709582150025240854?s=46&t=Y6UuIHB0Lv0IpmFAjlc2-Q

人間は新しい問題に取り組む時、過去に解いた類義の問題を振り返り、その経験を活用する。これをLLM上で実践できないか?というのがアイデア。 Analogical Promptingでは、問題を解く前に、適切なexamplarを自動生成（problemとsolution）させ、コンテキストとして利用する。

これにより、examplarは自己生成されるため、既存のCoTで必要なexamplarのラベリングや検索が不要となることと、解こうとしている問題に合わせてexamplarを調整し、推論に対してガイダンスを提供することが可能となる。

実験の結果、数学、コード生成、BIG-Benchでzero-shot CoT、few-shot CoTを上回った。

[AkihikoWatanabe]

LLMが知っており、かつ得意な問題に対してならうまく働きそう。一方で、LLMが苦手な問題などは人手作成したexamplarでfew-shotした方が（ある程度）うまくいきそうな予感がする。うまくいきそうと言っても、そもそもLLMが苦手な問題なのでfew-shotした程度では焼石に水だとは思うが。