URL

https://arxiv.org/abs/2304.03277
Affiliations
- Baolin Peng, N/A
- Chunyuan Li, N/A
- Pengcheng He, N/A
- Michel Galley, N/A
- Jianfeng Gao, N/A
  Abstract
- Prior work has shown that finetuning large language models (LLMs) using machine-generated instruction-following data enables such models to achieve remarkable zero-shot capabilities on new tasks, and no human-written instructions are needed. In this paper, we present the first attempt to use GPT-4 to generate instruction-following data for LLM finetuning. Our early experiments on instruction-tuned LLaMA models show that the 52K English and Chinese instruction-following data generated by GPT-4 leads to superior zero-shot performance on new tasks to the instruction-following data generated by previous state-of-the-art models. We also collect feedback and comparison data from GPT-4 to enable a comprehensive evaluation and reward model training. We make our data generated using GPT-4 as well as our codebase publicly available.
  Translation (by gpt-4o-mini)
従来の研究では、機械生成された指示に従うデータを用いて大規模言語モデル（LLMs）をファインチューニングすることで、これらのモデルが新しいタスクに対して驚異的なゼロショット能力を発揮できることが示されています。また、人間が書いた指示は必要ありません。本論文では、GPT-4を用いてLLMのファインチューニングのための指示に従うデータを生成する初めての試みを紹介します。指示に調整されたLLaMAモデルに関する初期実験では、GPT-4によって生成された52Kの英語および中国語の指示に従うデータが、従来の最先端モデルによって生成された指示に従うデータよりも新しいタスクに対して優れたゼロショット性能をもたらすことが示されました。また、包括的な評価と報酬モデルのトレーニングを可能にするために、GPT-4からのフィードバックと比較データも収集しました。私たちは、GPT-4を用いて生成したデータとコードベースを公開します。
Summary (by gpt-4o-mini)
GPT-4を用いて指示に従うデータを生成し、LLMのファインチューニングを行う初の試みを報告。生成された52Kの指示データは、従来のモデルよりも新しいタスクに対して優れたゼロショット性能を示した。GPT-4からのフィードバックと比較データも収集し、データとコードベースを公開。

AkihikoWatanabe / paper_notes

Instruction Tuning with GPT-4, Baolin Peng+, N/A, arXiv'23 #1401

URL

Affiliations

Abstract

Translation (by gpt-4o-mini)

Summary (by gpt-4o-mini)