关于MMIM的复现问题

LingFengGold commented 2 years ago

您好！我在使用您的代码复现MMIM时观察到main loss变nan，我并没有修改您的代码，数据也是使用您提供的/mosi/unaligned。 MMSA - TRAIN-(mmim) [1/2/2] >> mmilb loss: 0.0042 main loss: nan Has0_acc_2: 0.5701 Has0_F1_score: 0.4140 Non0_acc_2: 0.5971 Non0_F1_score: 0.5708 Mult_acc_5: 0.2500 Mult_acc_7: 0.2313 MAE: 1.2234 Corr: 0.3217 请问这是什么原因导致的呢？

Columbine21 commented 2 years ago

@LingFengGold 同学您好，MMIM 模型是最新的多模态情感分析模型，我们正在修改，会在最新版本中同步更新（目前版本可能有些问题）。

我们目前也无法复现相关的实验结果，会尽快修改。同学可以暂时参考代码 https://github.com/declare-lab/Multimodal-Infomax 如果能够复现相当的结果，欢迎为我们仓库提 pull request ～非常期待您的提交。

Columbine21 commented 2 years ago

@LingFengGold 问题已经解决了，发现是batch_size 设置的太小导致的。现在模型效果已经正常，请同学有时间测试一下。

我们这边现在的结果如下：三个随机种子 [1111, 1112, 1113] Has0_acc_2, Has0_F1_score, Non0_acc_2, Non0_F1_score, Mult_acc_5, Mult_acc_7, MAE, Corr, Loss "(82.85, 0.79)","(82.72, 0.75)","(84.76, 0.94)","(84.69, 0.89)","(52.43, 2.0)","(45.04, 1.14)","(72.3, 0.8)","(78.5, 1.31)","(72.21, 0.98)"

其中最好的种子效果：

MMSA - Result for seed 1113: {'Has0_acc_2': 0.8397, 'Has0_F1_score': 0.8379, 'Non0_acc_2': 0.8598, 'Non0_F1_score': 0.8586, 'Mult_acc_5': 0.519, 'Mult_acc_7': 0.4431, 'MAE': 0.7154, 'Corr': 0.7866, 'Loss': 0.7122}

不知道同学那边还有什么问题么

thuiar / MMSA

关于MMIM的复现问题 #40