Closed zdgithub closed 2 years ago
你好!我发现P-Tuning v2论文中提到所有实验都在全量数据上做的,那么在少样本设定下的效果如何呢,能赶上fine-tune吗?
哇哇哇 跟我想法一样 我发邮件给了作者,感谢纪开轩的回答,以下是回复内容,希望能帮助你
@zdgithub Hi,
我们当时没有时间研究其在小样本上的结果。不过后续有工作进行了实验,例如BBT, FL-Tuning等很多工作;他们的实验结果可以作一定的参考用。不过总的来说,小样本学习本身的随机性比较大,在我看来训练策略和调参本身可能比方法影响更大。
感谢回复!
你好!我发现P-Tuning v2论文中提到所有实验都在全量数据上做的,那么在少样本设定下的效果如何呢,能赶上fine-tune吗?