Open liyuan97 opened 4 years ago
https://leeee.top/2020/CS224n-13/
越来越接近前沿了,兴奋。 预训练预训练这个概念很重要,NLP能大放异彩也是预训练的模型做的工作的突破。核心思想:复用底层特征。从CV说起最开始是在cv中使用,当我们想解决一个小数据集的任务A的时候,数据集太小往往不足以达到最优,或者训练时间太久。而我们可以用一个成熟的模型B的前几层,放在A的前面,帮助A抽取底层特征。优点:
https://leeee.top/2020/CS224n-13/
越来越接近前沿了,兴奋。 预训练预训练这个概念很重要,NLP能大放异彩也是预训练的模型做的工作的突破。核心思想:复用底层特征。从CV说起最开始是在cv中使用,当我们想解决一个小数据集的任务A的时候,数据集太小往往不足以达到最优,或者训练时间太久。而我们可以用一个成熟的模型B的前几层,放在A的前面,帮助A抽取底层特征。优点: