search

eleveyuan / PR

Paper Reading
1 stars 0 forks source link

Pre-trained models for natural language processing: A survey #1

Open eleveyuan opened 2 years ago

eleveyuan commented 2 years ago

reference:

  1. Qiu X, Sun T, Xu Y, et al. Pre-trained models for natural language processing: A survey[J]. Science China Technological Sciences, 2020, 63(10): 1872-1897.
eleveyuan commented 2 years ago

这是一篇NLP预训练模型的综述，主要讲述了四个方面的内容：

  1. 对语言表征模型PTM的模型架构，预训练任务，变种，方法，应用进行概括
  2. 对PTM进行分门别类
  3. 分享一些工具，语料以及论文集
  4. 分析PTM的缺点，潜在的研究方向