fundamentalvision / Uni-Perceiver

Apache License 2.0
256 stars 21 forks source link

关于 PROMPT_EMBED.SHARE_DEEP_PROMPT #10

Closed tgyy1995 closed 1 year ago

tgyy1995 commented 1 year ago

你好,感谢你们的工作。 我注意到prompt_tuning时,只有retrieval任务中PROMPT_EMBED.SHARE_DEEP_PROMPT会设成False,其他任务都设成True,这样做是效果比较好吗?

Lechatelia commented 1 year ago

谢谢您的关注。 这里SHARE_DEEP_PROMPT是为了在input和任务的target上添加的deep prompt是否共享而加入的设置参数,属于我们早期的一个实验变量,我在初期实验里发现基本所有实验的deepprmpt是否共享都不会带来明显差异。因为共享不会使得效果变差、增加的参数量也会变少。因此我在接下来的实验里面基本都采用了共享的策略。关于retrieval任务这里的设置,应该是我忘记更改了。根据我当时的实验结论,这个设置应该不会影响实验结论和performance。