LiYunfengLYF
commented
2 months ago 您好，感谢您这篇精彩的工作！ 关于本文的backbone部分，我有个问题：这里作为backbone的ViT，作者有试过把参数冻结吗，对结果影响大吗。提出这个问题是因为看到比较新的论文Bi-directional Adapter for Multi-modal Tracking就只训练了中间的adapter。 期待您的回复，感谢！
没试过，我们试过在BAT中加入我们的模块，不冻结参数，效果不太行，行的话，论文里面结构就有adapter的形式了，😀。
我们之前尝试过在第1-3层冻结，只对中高级语义进行跨模态特征交互，性能下降，然后后面就没有额外尝试了，但考虑到深度炼丹的无限可能性，最好还是跑一下看看，万一成了呢不是嘛，😀
关于你的问题，你可以尝试以下，BAT里面是逐层加adapter的，每一次加2个好像，具体的你再看看，这样的话，每次交互都是很充分的。如果直接在4，7，10层加块的话，可能交互不一定会充分
SunHui1216
您好，感谢您这篇精彩的工作！ 关于本文的backbone部分，我有个问题：这里作为backbone的ViT，作者有试过把参数冻结吗，对结果影响大吗。提出这个问题是因为看到比较新的论文Bi-directional Adapter for Multi-modal Tracking就只训练了中间的adapter。 期待您的回复，感谢！