如何关闭其中一个pre training model

[Jackson8787]

你好，中文不好请见谅。 我想要在实验中将论文中提到的5个pre training model 分别关闭一次，然后测试得到的成绩 我在training.py中的第60行开始将pre training model 註解化，如下 mlm_infos={ """2/22 disable MLM key: value.to(device) for key, value in batch['MLM'].items() """ } if 'MLM' in batch else None, 可是结果并没有变化，请问是哪裡做错了？

[lyhuohuo]

您好，您可以在预训练过程中，对于MVSA_pretrain.sh脚本文件中的这些参数进行0和1的设置来分别删除或增加相应的预训练任务，在下游训练的时候不需要对代码进行更改，直接加载预训练的模型参数进行训练即可。

[Jackson8787]

你好，我依照你提供提供的方法更改了参数，得到的结果如下。 然后直接执行15_pretrain_full.sh的结果只有时间变长，分数没有变化。 我的方法是错的吗?

[lyhuohuo]

这个参数是在预训练的过程中更改的，您需要更改这些参数重新训练预训练模型，而不是加载我提供的模型。

[lyhuohuo]

您需要首先处理出预训练的数据，然后更改参数运行MVSA_pretrain.sh脚本文件