search

THUDM / P-tuning-v2

An optimized deep prompt tuning strategy comparable to fine-tuning across scales and tasks
Apache License 2.0
1.97k stars 201 forks source link

跟prefix tuning的区别是什么呢？ #60

Open yingying123321 opened 1 year ago

yingying123321 commented 1 year ago

您好，p-tuning v2是将prompt embeddings通过past_key_values加到模型的每一层；看了prefix tuning的代码，也是通过past_key_values加到了模型的每一层。请问一下， p-tuning v2跟prefix tuning的区别在哪里呢？琢磨了好久都没有明白。

hanguangmic commented 1 year ago

您好，p-tuning v2是将prompt embeddings通过past_key_values加到模型的每一层；看了prefix tuning的代码，也是通过past_key_values加到了模型的每一层。请问一下， p-tuning v2跟prefix tuning的区别在哪里呢？琢磨了好久都没有明白。

大胆些就是一摸一样

CalebXhr commented 2 months ago

我也是研究了很久。。。发现就是一模一样。。。