Decomposition Enhances Reasoning via Self-Evaluation Guided Decoding, Yuxi Xie+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2305.00633

  Affiliations

  • Yuxi Xie, N/A
  • Kenji Kawaguchi, N/A
  • Yiran Zhao, N/A
  • Xu Zhao, N/A
  • Min-Yen Kan, N/A
  • Junxian He, N/A
  • Qizhe Xie, N/A

    Abstract

  • We endow Large Language Models (LLMs) with fine-grained self-evaluation torefine multi-step reasoning inference. We propose an effective promptingapproach that integrates self-evaluation guidance through stochastic beamsearch. Our approach explores the reasoning search space using awell-calibrated automatic criterion. This enables an efficient search toproduce higher-quality final predictions. With the self-evaluation guidedstochastic beam search, we also balance the quality-diversity trade-off in thegeneration of reasoning chains. This allows our approach to adapt well withmajority voting and surpass the corresponding Codex-backboned baselines by$6.34\%$, $9.56\%$, and $5.46\%$ on the GSM8K, AQuA, and StrategyQA benchmarks,respectively, in few-shot accuracy. Analysis of our decompositional reasoningfinds it pinpoints logic failures and leads to higher consistency androbustness. Our code is publicly available athttps://github.com/YuxiXie/SelfEval-Guided-Decoding.

    Translation (by gpt-3.5-turbo)

• 私たちは、大規模言語モデル（LLMs）に細かい自己評価を与え、多段階の推論推論を洗練させました。私たちは、確率的ビームサーチを介した自己評価ガイダンスを統合する効果的なプロンプティングアプローチを提案しています。このアプローチでは、自動的な基準を使用して推論の探索空間を探索します。これにより、より高品質な最終予測を効率的に生成するための効果的な探索が可能になります。自己評価によるガイド付き確率的ビームサーチにより、推論チェーンの生成における品質と多様性のトレードオフをバランスさせます。これにより、私たちのアプローチは、GSM8K、AQuA、およびStrategyQAのベンチマークにおいて、少数のショットの精度で対応するCodexバックボーンのベースラインをそれぞれ6.34％、9.56％、5.46％上回ることができます。分解的推論の分析では、論理の失敗を特定し、一貫性と堅牢性を高めることがわかりました。私たちのコードはhttps://github.com/YuxiXie/SelfEval-Guided-Decodingで公開されています。

  Summary (by gpt-3.5-turbo)

• 私たちは、大規模言語モデル（LLMs）を使用して、推論の品質と多様性を向上させるための効果的なプロンプティングアプローチを提案しました。自己評価によるガイド付き確率的ビームサーチを使用して、GSM8K、AQuA、およびStrategyQAのベンチマークで高い精度を達成しました。また、論理の失敗を特定し、一貫性と堅牢性を向上させることもできました。詳細なコードはGitHubで公開されています。

[AkihikoWatanabe]