thuiar / MMSA

MMSA is a unified framework for Multimodal Sentiment Analysis.
MIT License
685 stars 106 forks source link

论文中关于超参数选择部分 #4

Closed joy20182018 closed 3 years ago

joy20182018 commented 3 years ago

5.2节超参数选择部分,有“Empirically, we choose the average length plus three times the standard deviation as the maximum length of the sequence” 问一下,为什么要这么做呢,这么做的理由是什么

iyuge2 commented 3 years ago

我们在考虑这个参数时,希望它能够覆盖尽可能多的片段长度。为此,我们假设片段的长度服从(u, \sigma)的正态分布,这种情况下,均值加三倍标准差可以涵盖99.73%的情况。当然,我们认为尝试其他情况也是可以的。

joy20182018 commented 3 years ago

我get了,谢谢啦,我再尝试一下其他的情况

joy20182018 commented 3 years ago

对了,问一下您假设的这种情况(假设片段的长度服从(u, \sigma)的正态分布)如果换其他的数据集也适用吗,而且感觉这么做的话可能会造成一些信息丢失吧, 我们的数据集是从与正常人和抑郁症患者对话中提取的一些语音情感片段,片段长度不等,而且提取的语音片段的长度差异比较大。

iyuge2 commented 3 years ago

另一种常用的做法是取片段中的最大长度,然后模型中采用精细化的mask操作。这样的优势是没有信息损失,但缺点也比较明显:

我们认为数据规模越大,应该更容易符合正态的假设(当然,我们数据集规模并不算大)。 针对您数据集的情况,我们建议可以先看看数据长度的分布情况,然后选择一种均衡化的方案。也可以同时试验多种方案,看一下这个参数的影响有多大。希望对您有帮助,谢谢~

joy20182018 commented 3 years ago

ok,谢谢您抽时间回答我的问题,按照您的要求我会试一下

iyuge2 commented 3 years ago

不客气~祝科研顺利!