search

PaPaPaPatrick / NN

0 stars 0 forks source link

Prompt Learning 关键字学习 #2

Closed PaPaPaPatrick closed 3 months ago

PaPaPaPatrick commented 1 year ago

https://www.bilibili.com/video/BV1Ug411N7KD/?spm_id_from=333.788.recommend_more_video.2&vd_source=6ed3d0ed0a847103a02913a24b8a9117

https://www.bilibili.com/video/BV128411n7st/?spm_id_from=333.337.search-card.all.click&vd_source=6ed3d0ed0a847103a02913a24b8a9117

PaPaPaPatrick commented 1 year ago

大语言模型为了让模型有更好的泛化能力，能适应更多的任务基本采用的方式是 Pre-Train + fine tune 的方式； 但是数据量小的时候（没有数据或者几十几百这种）模型效果可能不太好，prompt 就是为了这种情况提出的一种方式，在预训练的时候增加很多范式的模板，在下游新任务的将任务向模型靠齐。 prompt 应用的过程中模型的参数不会再变。

PaPaPaPatrick commented 1 year ago

数据量起来之后，prompt 的效果没有 fine tune的效果好，不建议当做业务的baseline上线去使用。

PaPaPaPatrick commented 1 year ago

prompt learning 是让模型自己定义学习范式，实际上就是学习 embading + head 的过程 有硬模版方法 PET LM-BFF

也有软模板：直接对向量进行编码，不显式表达，可解释性更差 P-TUNING PREFIX TUNING