OpenGVLab / UniFormerV2

[ICCV2023] UniFormerV2: Spatiotemporal Learning by Arming Image ViTs with Video UniFormer
https://arxiv.org/abs/2211.09552
Apache License 2.0
294 stars 19 forks source link

模型初始化问题 #33

Closed zhanghang-official closed 1 year ago

zhanghang-official commented 1 year ago

感谢您的工作!我这边想用clip-vit权重进行模型参数初始化,想请教下初始化代码的逻辑,我自己看不是很清楚,十分感谢!(finetune参数是工程需要自己加入的)

image

Andy1621 commented 1 year ago

对于初始化,主要需要注意的是对时空三维卷积的初始化。对于图像预训练的模型,由于使用的是空间二维卷积,需要在时间尺度上进行平均或者填零,具体可以看infalte_weight函数。

zhanghang-official commented 1 year ago

明白啦,感谢!