search

OpenGVLab / UniFormerV2

[ICCV2023] UniFormerV2: Spatiotemporal Learning by Arming Image ViTs with Video UniFormer
https://arxiv.org/abs/2211.09552
Apache License 2.0
282 stars 16 forks source link

模型初始化问题 #33

Closed zhanghang-official closed 1 year ago

zhanghang-official commented 1 year ago

感谢您的工作！我这边想用clip-vit权重进行模型参数初始化，想请教下初始化代码的逻辑，我自己看不是很清楚，十分感谢！（finetune参数是工程需要自己加入的）

image

Andy1621 commented 1 year ago

对于初始化，主要需要注意的是对时空三维卷积的初始化。对于图像预训练的模型，由于使用的是空间二维卷积，需要在时间尺度上进行平均或者填零，具体可以看infalte_weight函数。

zhanghang-official commented 1 year ago

明白啦，感谢！