Metacognitive Prompting Improves Understanding in Large Language Models, Yuqing Wang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2308.05342

  Affiliations

  • Yuqing Wang, N/A
  • Yun Zhao, N/A

    Abstract

  • In Large Language Models (LLMs), there have been consistent advancements intask-specific performance, largely influenced by effective prompt design. Whilerecent research on prompting has enhanced the reasoning capabilities of LLMs, agap remains in further improving their understanding abilities. In this study,we introduce metacognitive prompting (MP), a strategy inspired by humanintrospective reasoning processes. Using MP, LLMs undergo a systematic seriesof structured, self-aware evaluations, drawing on both their vast inherentknowledge and new insights. Our experiments involve five prevalent LLMs:Llama2, Vicuna, PaLM, GPT-3.5, and GPT-4, all of which span various generalnatural language understanding (NLU) tasks from the GLUE and SuperGLUEbenchmarks. Results indicate that, although GPT-4 consistently excels in mosttasks, PaLM, when equipped with MP, approaches its performance level.Furthermore, across models and datasets, MP consistently outperforms existingprompting methods, including standard and chain-of-thought prompting. Thisstudy underscores the potential to amplify the understanding abilities of LLMsand highlights the benefits of mirroring human introspective reasoning in NLUtasks.

    Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）では、効果的なプロンプト設計により、タスク固有のパフォーマンスが一貫して向上してきました。最近のプロンプトに関する研究は、LLMsの推論能力を向上させましたが、理解能力の向上にはまだ課題が残っています。本研究では、人間の内省的な推論プロセスに着想を得たメタ認知プロンプト（MP）を導入します。MPを使用することで、LLMsは広範な固有知識と新たな洞察を活用し、構造化された自己認識評価の系統的な一連のプロセスを経ます。実験では、GLUEおよびSuperGLUEベンチマークのさまざまな一般的な自然言語理解（NLU）タスクをカバーするLlama2、Vicuna、PaLM、GPT-3.5、およびGPT-4の5つの主要なLLMsを使用します。結果は、GPT-4がほとんどのタスクで一貫して優れている一方、MPを備えたPaLMはそのパフォーマンスレベルに近づいていることを示しています。さらに、モデルとデータセットを横断して、MPが標準的なプロンプトや思考の連鎖を含む既存のプロンプト手法を常に上回っていることが示されています。この研究は、LLMsの理解能力を高める可能性を強調し、NLUタスクにおける人間の内省的な推論を模倣することの利点を示しています。

  Summary (by gpt-3.5-turbo)

• 本研究では、LLMsにメタ認知プロンプト（MP）を導入し、人間の内省的な推論プロセスを模倣することで、理解能力を向上させることを目指しています。実験結果は、MPを備えたPaLMが他のモデルに比べて優れたパフォーマンスを示しており、MPが既存のプロンプト手法を上回ることを示しています。この研究は、LLMsの理解能力向上の可能性を示し、人間の内省的な推論を模倣することの利点を強調しています。

[AkihikoWatanabe]

CoTより一貫して性能が高いので次のデファクトになる可能性あり