代码逻辑问题咨询

thuiar / MIntRec

MIntRec: A New Dataset for Multimodal Intent Recognition (ACM MM 2022)

https://mintrec.github.io/

MIT License

66 stars 12 forks source link

Closed xuejianhuang closed 1 year ago

xuejianhuang commented 1 year ago

您好！MISA.py中这行代码 self._extract_features(video_feats, lengths, self.vrnn1, self.vrnn2, self.vlayer_norm)中的lengths不应该传入的是文本的长度吧？应该是viedo没有填充前的长度吧

tengjiayan20 commented 1 year ago

您好，这里传入文本的长度，是为了在三个模态特征融合之前，先将video和audio的feature和text对齐。

附：框架中的MISA部分是参照MISA官方库进行复现的，其地址为: https://github.com/declare-lab/MISA