search

thuiar / MMSA

MMSA is a unified framework for Multimodal Sentiment Analysis.
MIT License
642 stars 104 forks source link

APIs #44

Open zhang05222 opened 2 years ago

zhang05222 commented 2 years ago

作者你好，很庆幸有人做了多模态情感分析的集成平台。请问为什么我现在在https://github.com/thuiar/MMSA/wiki/APIs网页上没有看到任何内容？以及这个集成环境可以选择使用其中的两类模态作为输入吗？

Columbine21 commented 2 years ago

@zhang05222 您好，目前多模态情感分析的模型训练的时候都是使用三个模态特征输入的，您所说的两模态输入有两种情况：

  1. 视作某一个模态特征缺失，使用全零向量进行填充（目前平台不支持这个测试，如果有必要我们可以加入相应功能）
  2. 需要改变模型的网络结构进行重新训练，这种是现在（除了Late fusion策略模型）多模态情感分析模型的共同问题。

另：APIs 更新在 https://github.com/thuiar/MMSA/wiki/Home 中的Api部分了，可以参考。

FlameSky-S commented 2 years ago

详细文档会尽快更新，当前请参考wiki主页的说明，谢谢您的关注！