search

thuiar / Self-MM

Codes for paper "Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis"
MIT License
176 stars 35 forks source link

query ~~ #3

Closed jun0wanan closed 3 years ago

jun0wanan commented 3 years ago

hi, 请教一下~ spatial differences are difficult to represent the modality-specific difference ———中的 spatial differences 是什么呀？(●'◡'●)

best, jun

iyuge2 commented 3 years ago

你好，在MISA这篇工作的“Difference Loss”部分，作者是用Frobenius范数距离约束模态一致性和模态特异性的表示，而这种范数距离在向量正交时取最小值，所以本质上还是向量点在空间上的距离或者角度约束关系。但是，在我们的理解上，模态特异性本身是一个非常抽象的概念，很难用空间上的距离或者角度进行度量。

jun0wanan commented 3 years ago

你好，在MISA这篇工作的“Difference Loss”部分，作者是用Frobenius范数距离约束模态一致性和模态特异性的表示，而这种范数距离在向量正交时取最小值，所以本质上还是向量点在空间上的距离或者角度约束关系。但是，在我们的理解上，模态特异性本身是一个非常抽象的概念，很难用空间上的距离或者角度进行度量。

感谢您的回复

jun0wanan commented 3 years ago

你好，在MISA这篇工作的“Difference Loss”部分，作者是用Frobenius范数距离约束模态一致性和模态特异性的表示，而这种范数距离在向量正交时取最小值，所以本质上还是向量点在空间上的距离或者角度约束关系。但是，在我们的理解上，模态特异性本身是一个非常抽象的概念，很难用空间上的距离或者角度进行度量。

再请教一下，MSA的标签的 regression标签 是本身自带的吗~

iyuge2 commented 3 years ago

嗯嗯，多模态的标签是数据集自带的