which pretrain model is uniformer-small-dim64？

Sense-X / UniFormer

[ICLR2022] official implementation of UniFormer

Apache License 2.0

812 stars 111 forks source link

which pretrain model is uniformer-small-dim64？ #124

Closed wanzhen666 closed 8 months ago

wanzhen666 commented 9 months ago

后两个模型是一个是dim32 一个是dim64，请问第一个模型的dim是多少呢，我有点分不清，我想把它作为我下游任务的骨干网络，替换swintiny，请问你建议我用哪个？非常感谢您

wanzhen666 commented 9 months ago

另外small和small-plus有什么区别吗

wanzhen666 commented 9 months ago

抱歉，small-和small-plus的区别我在论文中看到了，我想把它用于我下游任务，是应该用small版本的吗，也就是图片中的第一个权重？他的head_dim是64吗？ @Andy1621

Andy1621 commented 9 months ago

small或者small_plus_dim64都可以，dim64速度会稍微快点

wanzhen666 commented 9 months ago

非常感谢你，我用了uniformer-small-224作为我下游任务的backbone，它确实有用，请问关于tokenlabing的模型，如果我想用的话，只需要下载新的预训练权重吗，还是说下载新的预训练权重后，代码中需要加图片中红框的那部分，因为我没有用到最后的分类头，只用到了四个block。非常期待你的回复，祝您身体健康，科研顺利！ 1702185208336

Andy1621 commented 9 months ago

不需要的