Large Language Models as Optimizers, Chengrun Yang+, N/A, arXiv'23

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2309.03409

  Affiliations

  • Chengrun Yang, N/A
  • Xuezhi Wang, N/A
  • Yifeng Lu, N/A
  • Hanxiao Liu, N/A
  • Quoc V. Le, N/A
  • Denny Zhou, N/A
  • Xinyun Chen, N/A

    Abstract

  • Optimization is ubiquitous. While derivative-based algorithms have beenpowerful tools for various problems, the absence of gradient imposes challengeson many real-world applications. In this work, we propose Optimization byPROmpting (OPRO), a simple and effective approach to leverage large languagemodels (LLMs) as optimizers, where the optimization task is described innatural language. In each optimization step, the LLM generates new solutionsfrom the prompt that contains previously generated solutions with their values,then the new solutions are evaluated and added to the prompt for the nextoptimization step. We first showcase OPRO on linear regression and travelingsalesman problems, then move on to prompt optimization where the goal is tofind instructions that maximize the task accuracy. With a variety of LLMs, wedemonstrate that the best prompts optimized by OPRO outperform human-designedprompts by up to 8% on GSM8K, and by up to 50% on Big-Bench Hard tasks.

    Translation (by gpt-3.5-turbo)

• 最適化はどこにでも存在します。導関数ベースのアルゴリズムはさまざまな問題に対して強力なツールでありながら、勾配の欠如は多くの現実世界のアプリケーションに課題をもたらします。本研究では、大規模言語モデル（LLMs）を最適化手法として活用するためのシンプルで効果的なアプローチである「Optimization by PROmpting（OPRO）」を提案します。この手法では、最適化タスクを自然言語で記述します。各最適化ステップでは、LLMは以前に生成された解とその値を含むプロンプトから新しい解を生成し、その後、新しい解を評価して次の最適化ステップのためのプロンプトに追加します。まず、OPROを線形回帰と巡回セールスマン問題に適用し、次にタスクの精度を最大化するための指示を見つけるプロンプト最適化に移ります。さまざまなLLMを用いて、OPROによって最適化された最良のプロンプトが、GSM8Kでは人間が設計したプロンプトよりも最大8%、Big-Bench Hardタスクでは最大50%優れていることを示します。

  Summary (by gpt-3.5-turbo)

• 本研究では、最適化タスクを自然言語で記述し、大規模言語モデル（LLMs）を使用して最適化を行う手法「Optimization by PROmpting（OPRO）」を提案しています。この手法では、LLMが以前の解とその値を含むプロンプトから新しい解を生成し、評価して次の最適化ステップのためのプロンプトに追加します。実験結果では、OPROによって最適化された最良のプロンプトが、人間が設計したプロンプトよりも優れていることが示されました。

[AkihikoWatanabe]

Take a deep breath and work on this problem step-by-step.論文

概要

LLMを利用して最適化問題を解くためのフレームワークを提案したという話。論文中では、linear regressionや巡回セールスマン問題に適用している。また、応用例としてPrompt Engineeringに利用している。 これにより、Prompt Engineeringが最適か問題に落とし込まれ、自動的なprompt engineeringによって、Let's think step by step. よりも良いプロンプトが見つかりましたという話。

手法概要

全体としての枠組み。meta-promptをinputとし、LLMがobjective functionに対するsolutionを生成する。生成されたsolutionとスコアがmeta-promptに代入され、次のoptimizationが走る。これを繰り返す。 Meta promptの例