search

thuiar / MMSA

MMSA is a unified framework for Multimodal Sentiment Analysis.
MIT License
642 stars 104 forks source link

关于训练测试的问题 #54

Open mdswyz opened 2 years ago

mdswyz commented 2 years ago

作者你好，我想问一下MMSA_run()这个函数是默认同时执行训练和测试吗，这里的tune指的是训练微调还是别的含义，谢谢！

FlameSky-S commented 2 years ago

MMSA_run() 默认使用默认参数进行训练和测试，tune是指调参

mdswyz commented 2 years ago

感谢回复，我已经发现了tune是随机取出参数来进行训练评估，忘记close这个问题。 不过我最近在写测试代码的过程中发现tune保存在csv文件的参数和实际的参数不一致

Chi-Tian commented 1 year ago

您好，首先非常感谢您做的关于多模态模型的集成工作，对我有很大帮助。在复现实验的时候，我按照您的参数和模型（Mult），以及您提供的SIMS数据集（unaligned_39.pkl），在Mult模型中始终无法跑到您在结果中展示的回归任务中的Mult_acc_2和F1_score，差将近两个点，请问您做过其他的数据处理吗，或者能可以帮忙分析一下原因吗

Chi-Tian commented 1 year ago

您好,我今天发现上传了新的数据集CH-SIMS v2，请问这个版本和之前的有什么区别吗，然后百度网盘的链接失效了，是否可以提供一下新数据集CH-SIMS v2的百度网盘的下载连接，谢谢

Columbine21 commented 1 year ago

@Chi-Tian 关于您的第一个问题，由于各个机器的pytorch版本，和显卡型号的不同，模型结果需要从新在您的机器上进行调参。（即效果有一定差异是合理的），关于第二个问题 CH-SIMS v2是在ch-sims v1上对数据量、数据质量的一个扩展，其核心出发点在于构建一个“更加”能够体现音视频两个模态重要性的数据集，而不仅仅是predominant on text。具体情况可以参考论文 https://arxiv.org/pdf/2209.02604.pdf

FlameSky-S commented 1 year ago

是否可以提供一下新数据集CH-SIMS v2的百度网盘的下载连接

CH-SIMS v2：https://github.com/thuiar/ch-sims-v2

Hugh0110 commented 1 year ago

感谢回复，我已经发现了tune是随机取出参数来进行训练评估，忘记close这个问题。 不过我最近在写测试代码的过程中发现tune保存在csv文件的参数和实际的参数不一致

您好，我也发现了这个问题，使用tune保存在csv文件中的对应参数进行训练，无法达到保存在csv文件中参数对应的精度，请问您是怎么解决这个问题的。