模型训练策略

[leoleoleo681]

尊敬的作者您好，感谢您做出的这样出彩的工作并提供模型供大家学习。我仔细学习了下模型并试图将其训练到文章报道的效果，在这个过程中我看到在最开始的文本输入时有一个bert的encoder。我想请问一下，模型的输入并没有用处理好的文本特征而是自己通过源文本经过finetune的bert encoder得到的吗？我使用文中提供的部分超参，可能是我训练的问题，无论是用数据集提供的文本特征还是自己finetune bert encoder训练出的结果都不尽人意，请问能否提供更多的类似warm up之类的训练相关参数帮助接近文中的结果。再次感谢作者精彩的研究，希望能够尽快收到回复。

[Haoyu-ha]

language特征是通过源文本经过finetune的bert encoder得到的，注意使用MOSI/MOSEI训练时bert加载的预训练参数为'bert-base-uncased'，使用SIMS数据集时加载的预训练参数为'bert-base-chinese'。warm up相关代码我先传上来，你参考下，其中opt.n_epochs参数设置为200.

[leoleoleo681]

十分感谢您迅速的回答，我马上去试一试

[Haoyu-ha]

完整代码已公布，感谢您对我们工作的关注！

[leoleoleo681]

您好，感谢您的优秀工作，代码我已经复现。我在使用CHSIMS数据集时出现一些疑问，刚好看到您在MMSA中留言，所以想和您私下交流下。如果可以希望能够加个qq，我的qq号是1325035856，期待您的回复。