about attn_mask in artrackv2

MIV-XJTU / ARTrack

Apache License 2.0

228 stars 33 forks source link

Closed ElliottZhen closed 3 months ago

ElliottZhen commented 3 months ago

你好，请问ARTrackV2中的attn_mask,是类似于mixformer的那种在attention类中分开操作的，还是通过在注意力相似性矩阵上乘上mask，如果是后者，请问是在softmax之前乘吗？

AlexDotHam commented 3 months ago

是后者，并且是在softmax之前乘的

ElliottZhen commented 3 months ago

非常感谢您的回复，请问这个mask是类似于torch.ones或者torch.zeros,这样生成的，然后再对里边内容修改吗？，我一直很想实现这种操作，但是很多都是根据mixformer或者romtrack这种在attention类中分开操作的，不知道您有类似可以参考的代码吗。

ElliottZhen commented 3 months ago

你好，端午安康。抱歉打扰你了，请问那个mask是通过masked_fill,作用在attn矩阵上的吗，并把想要掩盖的部分值设置为-inf ？

AlexDotHam commented 3 months ago

是的是的，我是直接用的torch的attn，所以那个mask我直接生成了一个下三角阵，然后批次的去改，比如把search每行都制为1，我是特意一个一个设计的。似乎torch是mask的就是-inf，剩下的用1还是0我记不太清了，你可以查一下torch的官方文档

ElliottZhen commented 3 months ago

非常感谢你的回复，祝您科研顺利，身体健康