P-tuning v2在少样本上的效果如何呢？

THUDM / P-tuning-v2

An optimized deep prompt tuning strategy comparable to fine-tuning across scales and tasks

Apache License 2.0

1.96k stars 198 forks source link

Closed zdgithub closed 2 years ago

zdgithub commented 2 years ago

你好！我发现P-Tuning v2论文中提到所有实验都在全量数据上做的，那么在少样本设定下的效果如何呢，能赶上fine-tune吗？

dyh1998 commented 2 years ago

哇哇哇跟我想法一样我发邮件给了作者，感谢纪开轩的回答，以下是回复内容，希望能帮助你

Xiao9905 commented 2 years ago

@zdgithub Hi,

我们当时没有时间研究其在小样本上的结果。不过后续有工作进行了实验，例如BBT, FL-Tuning等很多工作；他们的实验结果可以作一定的参考用。不过总的来说，小样本学习本身的随机性比较大，在我看来训练策略和调参本身可能比方法影响更大。

zdgithub commented 2 years ago

感谢回复！