search

megvii-research / AnchorDETR

An official implementation of the Anchor DETR.
Other
333 stars 35 forks source link

载入预训练模型发现attention 维度不对，可能的问题是 ？ #50

Closed yelj closed 7 months ago

yelj commented 8 months ago

谢谢 image

tangjiuqi097 commented 8 months ago

请问加载的是哪个预训练模型

yelj commented 8 months ago

请问加载的是哪个预训练模型 这两个我都试了。相关维度都是1280。。我查看原版detr的预训练模型，都是768啊。 AnchorDETR-C5 | R50 AnchorDETR-DC5 | R50

tangjiuqi097 commented 8 months ago

可以看一下这段代码, channel纬度是256，query key行列各2个再加value 1个, 合计5个256x256的层，拼一起就是1280*256。 如果不想用RCDA可以加 --attention_type nn.MultiheadAttention这样就是3个256x256的层，性能是相近的，不过RCDA对显存需求小一些。

yelj commented 8 months ago

好的，我明白了。你的模型用的是RCDA 来跑的。。谢谢了。