分类任务上p-tuning v2效果不如p-tuning v1？

THUDM / P-tuning-v2

An optimized deep prompt tuning strategy comparable to fine-tuning across scales and tasks

Apache License 2.0

1.96k stars 198 forks source link

Open Sauloo-huen opened 1 year ago

Sauloo-huen commented 1 year ago

您好，我在一个中文五分类数据集上分别使用p-tuning v1的方法和p-tuning v2的方法进行训练，超参数是一样的，但结果差异很大。在p-tuning v1 上准确率能到达八十多，但在p-tuning v2 上只能到达三十多。请问可能是什么原因呢？

rer-coder commented 1 year ago

请问您最后问题解决了吗？我在p-tuning v2的测试结果也不是很好

Sauloo-huen commented 1 year ago

请问您最后问题解决了吗？我在p-tuning v2的测试结果也不是很好

没有，可以试试不冻结参数，所有参数一起训练。

chengturbo commented 1 year ago

分类任务上，准确率epoch增加，准确率反而下载，且不收敛。

PittsAi commented 8 months ago

分类任务上，准确率epoch增加，准确率反而下载，且不收敛。

请问你后面解决了吗