预训练的Transformer模型的层参数如何固定？

zjunlp / MKG_Analogy

[ICLR 2023] Multimodal Analogical Reasoning over Knowledge Graphs

https://zjunlp.github.io/project/MKG_Analogy/

MIT License

99 stars 11 forks source link

预训练的Transformer模型的层参数如何固定？ #28

Closed bjut-zhangdabao closed 2 months ago

bjut-zhangdabao commented 2 months ago

尊敬的作者：您好，您在百度[千言万语]技术分享活动做的汇报中提到说：“在预训练的时候，把Transformer其他的层权重都固定掉，只去学习这个word embeding层“，请问，"固定权重操作"在代码中的位置是哪里？祝您科研顺利、工作顺利！！！ 2024.8.21 bjut-zhangdabao 附图(您在[千言万语]技术活动中的讲到此处的截图)：

flow3rdown commented 2 months ago

您好，可以通过取消注释此处来固定其它层的权重。但在训练资源允许的情况下，还是推荐全量训练，效果会更好一点。

bjut-zhangdabao commented 2 months ago

您好，可以通过取消注释此处来固定其它层的权重。但在训练资源允许的情况下，还是推荐全量训练，效果会更好一点。

感谢您的热心回复，祝您在科研的道路上不断突破瓶颈，取得更加辉煌的成果！