The Prompt Report: A Systematic Survey of Prompting Techniques, Sander Schulhoff+, N/A, arXiv'24

[AkihikoWatanabe]

URL

• https://arxiv.org/abs/2406.06608

  Affiliations

  • Sander Schulhoff, N/A
  • Michael Ilie, N/A
  • Nishant Balepur, N/A
  • Konstantine Kahadze, N/A
  • Amanda Liu, N/A
  • Chenglei Si, N/A
  • Yinheng Li, N/A
  • Aayush Gupta, N/A
  • HyoJung Han, N/A
  • Sevien Schulhoff, N/A
  • Pranav Sandeep Dulepet, N/A
  • Saurav Vidyadhara, N/A
  • Dayeon Ki, N/A
  • Sweta Agrawal, N/A
  • Chau Pham, N/A
  • Gerson Kroiz, N/A
  • Feileen Li, N/A
  • Hudson Tao, N/A
  • Ashay Srivastava, N/A
  • Hevander Da Costa, N/A
  • Saloni Gupta, N/A
  • Megan L. Rogers, N/A
  • Inna Goncearenco, N/A
  • Giuseppe Sarli, N/A
  • Igor Galynker, N/A
  • Denis Peskoff, N/A
  • Marine Carpuat, N/A
  • Jules White, N/A
  • Shyamal Anadkat, N/A
  • Alexander Hoyle, N/A
  • Philip Resnik, N/A

    Abstract

  • Generative Artificial Intelligence (GenAI) systems are being increasingly deployed across all parts of industry and research settings. Developers and end users interact with these systems through the use of prompting or prompt engineering. While prompting is a widespread and highly researched concept, there exists conflicting terminology and a poor ontological understanding of what constitutes a prompt due to the area's nascency. This paper establishes a structured understanding of prompts, by assembling a taxonomy of prompting techniques and analyzing their use. We present a comprehensive vocabulary of 33 vocabulary terms, a taxonomy of 58 text-only prompting techniques, and 40 techniques for other modalities. We further present a meta-analysis of the entire literature on natural language prefix-prompting.

    Translation (by gpt-4o-mini)

• 生成的人工知能（GenAI）システムは、産業や研究のあらゆる分野でますます展開されています。開発者やエンドユーザーは、プロンプトやプロンプトエンジニアリングを通じてこれらのシステムと対話します。プロンプトは広く普及しており、非常に研究されている概念ですが、この分野の新しさから、プロンプトが何を構成するかについては矛盾する用語が存在し、十分な本体論的理解が欠けています。本論文では、プロンプトの構造的理解を確立するために、プロンプト技術の分類法を組み立て、その使用を分析します。33の語彙用語の包括的な語彙、58のテキスト専用プロンプト技術の分類法、そして他のモダリティのための40の技術を提示します。さらに、自然言語プレフィックスプロンプトに関する文献全体のメタ分析を行います。

  Summary (by gpt-4o-mini)

• 生成的人工知能（GenAI）システムのプロンプトに関する構造的理解を確立するため、プロンプト技術の分類法を提案し、33の語彙用語と58のテキスト専用プロンプト技術を提示。さらに、自然言語プレフィックスプロンプトに関する文献のメタ分析を実施。

[AkihikoWatanabe]

Promptingに関するサーベイ

[AkihikoWatanabe]

初期の手法からかなり網羅的に記述されているように見える。

[AkihikoWatanabe]

また、誤用されていたり、色々な意味合いで使われてしまっている用語を、きちんと定義している。 たとえば、Few shot LearningとFew shot Promptingの違い、そもそもPromptingの定義、Examplarなど。