Meta-CoT: Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models, Anni Zou+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2310.06692

  Affiliations

  • Anni Zou, N/A
  • Zhuosheng Zhang, N/A
  • Hai Zhao, N/A
  • Xiangru Tang, N/A

    Abstract

  • Large language models (LLMs) have unveiled remarkable reasoning capabilitiesby exploiting chain-of-thought (CoT) prompting, which generates intermediatereasoning chains to serve as the rationale for deriving the answer. However,current CoT methods either simply employ general prompts such as Let's thinkstep by step, or heavily rely on handcrafted task-specific demonstrations toattain preferable performances, thereby engendering an inescapable gap betweenperformance and generalization. To bridge this gap, we propose Meta-CoT, ageneralizable CoT prompting method in mixed-task scenarios where the type ofinput questions is unknown. Meta-CoT firstly categorizes the scenario based onthe input question and subsequently constructs diverse demonstrations from thecorresponding data pool in an automatic pattern. Meta-CoT simultaneously enjoysremarkable performances on ten public benchmark reasoning tasks and superiorgeneralization capabilities. Notably, Meta-CoT achieves the state-of-the-artresult on SVAMP (93.7%) without any additional program-aided methods. Ourfurther experiments on five out-of-distribution datasets verify the stabilityand generality of Meta-CoT.

    Translation (by gpt-3.5-turbo)

• 大規模言語モデル（LLMs）は、中間の推論チェーンを生成して回答の根拠とするためのチェーン・オブ・ソート（CoT）プロンプトを利用することで、顕著な推論能力を明らかにしています。 しかし、現在のCoTの方法は、単に「ステップバイステップで考えましょう」といった一般的なプロンプトを使用するか、タスク固有の手作業デモンストレーションに大いに依存して好ましいパフォーマンスを達成しようとするため、パフォーマンスと汎化の間に避けられないギャップを生じさせています。 このギャップを埋めるために、本研究では、入力質問のタイプが不明な混合タスクシナリオでの汎用的なCoTプロンプト手法であるMeta-CoTを提案します。 Meta-CoTは、まず入力質問に基づいてシナリオを分類し、その後、対応するデータプールからさまざまなデモンストレーションを自動的なパターンで構築します。 Meta-CoTは、10の公開ベンチマーク推論タスクで顕著なパフォーマンスを発揮し、優れた汎化能力を持っています。 特に、Meta-CoTはSVAMP（93.7%）で最先端の結果を達成し、追加のプログラム支援手法なしであります。 さらに、5つの分布外データセットでの実験により、Meta-CoTの安定性と汎用性が確認されました。

  Summary (by gpt-3.5-turbo)

• 本研究では、大規模言語モデル（LLMs）を使用して、推論のためのチェーン・オブ・ソート（CoT）プロンプトを生成する方法を提案しています。 従来のCoTの方法では、一般的なプロンプトや手作業デモンストレーションに依存していましたが、本研究では入力質問のタイプに基づいて自動的にプロンプトを生成するMeta-CoTを提案しています。 Meta-CoTは、10のベンチマーク推論タスクで優れたパフォーマンスを示し、SVAMPでは最先端の結果を達成しました。 また、分布外データセットでも安定性と汎用性が確認されました。

[AkihikoWatanabe]

色々出てきたがなんかもう色々組み合わせれば最強なんじゃね?って気がしてきた。