关于Token Permutation的一点疑问

[ThomaswellY]

您好！关于不同模态间的cls token和patch token的结合，有一点问题想向您请教，您在论文中得到的最终f(R,3)是经过了三次Token Permutation得到的，其中R的cls token与N的patch token结合，得到f(R,1)，之后将cls token再与N的patch token结合，得到f（R,2），再将cls token与T的patch token结合，得到f（R.3），这里我很好奇您有没有尝试过去掉f(R,2)这一步，个人感觉从数据交互的角度来说直观上更加公平的，毕竟N的patch token被利用了两次，去掉后则是N和T都被利用一次。一点小疑问，希望可以和您交流~

[924973292]

同学您好！感谢您对我们工作的关注！ 我设计的交互是r的cls和n t r的patch分别做交互，而n的cls也是和t r n的patch做交互，对t同理，t 的cls和 r n t做交互。 从一开始设计的时候就希望有一种平等和谐交互的思想，您可以再看一下论文和代码，每个模态全局特征都会和其他模态的局部特征交互一次，最后回到自己的身上，最后交互一次，希望以上回答能解决疑惑，有问题可以继续交流！

[ThomaswellY]

谢谢您的回复！另外还有个小问题，requirements文件中的 numpy @file:///home/conda/feedstock_root/build_artifacts/numpy_1649806299270/work 以及类似的几个依赖库，请问您这里是否需要修改一下呢

[ThomaswellY]

MultiScaleDeformableAttention 模块的安装，此处似乎无法直接从pypi安装

[924973292]

已更新，您可以尝试一下，如果还有问题继续问我！