URL

https://arxiv.org/abs/2406.14491
Affiliations
- Daixuan Cheng, N/A
- Yuxian Gu, N/A
- Shaohan Huang, N/A
- Junyu Bi, N/A
- Minlie Huang, N/A
- Furu Wei, N/A
  Abstract
- Unsupervised multitask pre-training has been the critical method behind therecent success of language models (LMs). However, supervised multitask learningstill holds significant promise, as scaling it in the post-training stagetrends towards better generalization. In this paper, we explore supervisedmultitask pre-training by proposing Instruction Pre-Training, a framework thatscalably augments massive raw corpora with instruction-response pairs topre-train LMs. The instruction-response pairs are generated by an efficientinstruction synthesizer built on open-source models. In our experiments, wesynthesize 200M instruction-response pairs covering 40+ task categories toverify the effectiveness of Instruction Pre-Training. In pre-training fromscratch, Instruction Pre-Training not only consistently enhances pre-trainedbase models but also benefits more from further instruction tuning. Incontinual pre-training, Instruction Pre-Training enables Llama3-8B to becomparable to or even outperform Llama3-70B. Our model, code, and data areavailable at https://github.com/microsoft/LMOps.
  Translation (by gpt-3.5-turbo)
最近の言語モデル（LMs）の成功の背後にある重要な手法は、教師なしのマルチタスク事前学習である。しかし、教師ありのマルチタスク学習は、ポストトレーニング段階でのスケーリングにより汎化性能が向上する傾向があり、依然として重要な可能性を秘めている。本論文では、Instruction Pre-Trainingというフレームワークを提案することで、教師ありマルチタスク事前学習を探求する。このフレームワークは、大規模な生のコーパスに効率的な指示合成器によって生成された指示-応答ペアを追加することで、LMsを事前学習する。実験では、40以上のタスクカテゴリをカバーする2億の指示-応答ペアを合成し、Instruction Pre-Trainingの効果を検証する。ゼロからの事前学習では、Instruction Pre-Trainingは事前学習済みベースモデルを一貫して強化するだけでなく、さらなる指示チューニングからも利益を得る。継続的な事前学習では、Instruction Pre-Trainingにより、Llama3-8BがLlama3-70Bと同等以上の性能を発揮する。当該モデル、コード、およびデータは、https://github.com/microsoft/LMOps で入手可能である。
Summary (by gpt-3.5-turbo)
LMsの成功の背後にある重要な手法は、教師なしのマルチタスク事前学習であるが、教師ありのマルチタスク学習も重要な可能性を秘めている。本研究では、Instruction Pre-Trainingというフレームワークを提案し、大規模な生のコーパスに効率的な指示合成器によって生成された指示-応答ペアを追加することで、LMsを事前学習する。実験では、40以上のタスクカテゴリをカバーする2億の指示-応答ペアを合成し、Instruction Pre-Trainingの効果を検証する。結果として、ゼロからの事前学習では、Instruction Pre-Trainingは事前学習済みベースモデルを強化し、継続的な事前学習では、Llama3-8BがLlama3-70Bと同等以上の性能を発揮することが示された。

AkihikoWatanabe / paper_notes

Instruction Pre-Training: Language Models are Supervised Multitask Learners, Daixuan Cheng+, N/A, arXiv'24 #1326

URL

Affiliations

Abstract

Translation (by gpt-3.5-turbo)

Summary (by gpt-3.5-turbo)