关于P-tuning和P-tuningv2的BoolQ数据集效果提问？

[newtonysls]

为什么在GPT understand too中的，在bert-large模型上，P-tuning在BoolQ数据集要比P-tuningv2高了接近三个点，包括CB数据集也是，为什么在论文中不和P-tuning进行比较呢？

[Xiao9905]

@newtonysls Hi，

GPT Understands, too中的BoolQ/CB实验，和P-tuning v2中的SuperGLUE实验的setting不一样。在GPT Understands, too中，我们同时微调了backbone模型参数；而v2中，backbone模型的参数是fixed的。具体细节在两篇论文中实验部分均有详细陈述。

[newtonysls]

font{
    line-height: 1.6;
}
ul,ol{
    padding-left: 20px;
    list-style-position: inside;
}

     请问这里不是写了固定参数吗

                ***@***.***

在2022年3月18日 ***@***.***> 写道： 

@newtonysls Hi，

GPT Understands, too中的BoolQ/CB实验，和P-tuning v2中的SuperGLUE实验的setting不一样。在GPT Understands, too中，我们同时微调了backbone模型参数；而v2中，backbone模型的参数是fixed的。具体细节在两篇论文中实验部分均有详细陈述。

—Reply to this email directly, view it on GitHub, or unsubscribe.Triage notifications on the go with GitHub Mobile for iOS or Android.

You are receiving this because you were mentioned.Message ID: @.***>

[Xiao9905]

@newtonysls Hi，

抱歉，似乎你的回复是通过邮件发来的，我在github issue里看不到你引用的部分。

我可以为您指出我们原文中描述这部分的内容。在GPT Understands, Too的：

1. 原文第2页（Introduction部分），有如下的说明：

In another NLU benchmark, SuperGlue, we jointly apply the P-tuning and fine-tuning in both few-shot and fully supervised scenarios.

2. 原文第5页（Section 4.2），有如下的说明：

P-tuning puts initial prompt embeddings in different positions within patterns and then finetunes the prompt embeddings together with the pretrained models. 

对于Knowledge Probing，我们则是跟随baseline方法采用的frozen setting。

[newtonysls]

font{
    line-height: 1.6;
}
ul,ol{
    padding-left: 20px;
    list-style-position: inside;
}

感谢  可是能我看的比较粗糙 直接看方法和效果去了，没在意实验细节

                ***@***.***

在2022年3月20日 ***@***.***> 写道： 

@newtonysls Hi，

抱歉，似乎你的回复是通过邮件发来的，我在github issue里看不到你引用的部分。

我可以为您指出我们原文中描述这部分的内容。在GPT Understands, Too的：

原文第2页（Introduction部分），有如下的说明：

In another NLU benchmark, SuperGlue, we jointly apply the P-tuning and fine-tuning in both few-shot and fully supervised scenarios.

原文第5页（Section 4.2），有如下的说明：

P-tuning puts initial prompt embeddings in different positions within patterns and then finetunes the prompt embeddings together with the pretrained models.

对于Knowledge Probing，我们则是跟随baseline方法采用的frozen setting。

—Reply to this email directly, view it on GitHub, or unsubscribe.Triage notifications on the go with GitHub Mobile for iOS or Android.

You are receiving this because you were mentioned.Message ID: @.***>

[newtonysls]

font{
    line-height: 1.6;
}
ul,ol{
    padding-left: 20px;
    list-style-position: inside;
}

疏忽大意了哈   我就感觉v2多了那么多参数怎么还比不过v1 还是膜拜一下大佬

                ***@***.***

在2022年3月18日 ***@***.***> 写道： 

@newtonysls Hi，

GPT Understands, too中的BoolQ/CB实验，和P-tuning v2中的SuperGLUE实验的setting不一样。在GPT Understands, too中，我们同时微调了backbone模型参数；而v2中，backbone模型的参数是fixed的。具体细节在两篇论文中实验部分均有详细陈述。

—Reply to this email directly, view it on GitHub, or unsubscribe.Triage notifications on the go with GitHub Mobile for iOS or Android.

You are receiving this because you were mentioned.Message ID: @.***>