liyuan97 / liyuan97.github.io

My Personal Blog
https://leeee.top/
1 stars 0 forks source link

CS224n-13 预训练, ELMO, GPT, BERT | 元哥的日记 #64

Open liyuan97 opened 4 years ago

liyuan97 commented 4 years ago

https://leeee.top/2020/CS224n-13/

越来越接近前沿了,兴奋。 预训练预训练这个概念很重要,NLP能大放异彩也是预训练的模型做的工作的突破。核心思想:复用底层特征。从CV说起最开始是在cv中使用,当我们想解决一个小数据集的任务A的时候,数据集太小往往不足以达到最优,或者训练时间太久。而我们可以用一个成熟的模型B的前几层,放在A的前面,帮助A抽取底层特征。优点: