Closed zhanghang-official closed 1 year ago
感谢您的工作!我这边想用clip-vit权重进行模型参数初始化,想请教下初始化代码的逻辑,我自己看不是很清楚,十分感谢!(finetune参数是工程需要自己加入的)
对于初始化,主要需要注意的是对时空三维卷积的初始化。对于图像预训练的模型,由于使用的是空间二维卷积,需要在时间尺度上进行平均或者填零,具体可以看infalte_weight函数。
明白啦,感谢!
感谢您的工作!我这边想用clip-vit权重进行模型参数初始化,想请教下初始化代码的逻辑,我自己看不是很清楚,十分感谢!(finetune参数是工程需要自己加入的)