search

yangbincv / SDCL

MIT License
12 stars 2 forks source link

关于模型架构是否可以变动 #5

Open MYL1227 opened 2 months ago

MYL1227 commented 2 months ago

作者您好，想请教一下我最近尝试对backbone进行改进，例如在Transformer层的自注意力层前面加入频率域模块对特征进行处理，但是性能大幅度下降，想请教一下这是否是由于新加入的模块没有进行预训练导致的，能否改动backbone

yangbincv commented 2 months ago

在引入频率模块时，是不是有一些随机初始化的参数？这个对无监督训练初期的聚类可能会产生影响

MYL1227 commented 2 months ago

有一些随机初始化参数，但是精度只用0点几，下降的非常厉害，没有用预训练模型的时候精度也非常低，所以想请教一下是否是由于改变了backbone之后模型要进行预训练才可以

yangbincv commented 2 months ago

最好还是要预训练一下。。不然初始提的特征不准，后面很难有效果。。可以尝试在前两个epoch在提特征聚类的时候用原来的backbone，训练的时候再加入频域模块，进过几轮训练后，再在提特征聚类时候也使用频域模块

MYL1227 commented 2 months ago

好的，非常感谢