thuiar / MMSA

MMSA is a unified framework for Multimodal Sentiment Analysis.
MIT License
634 stars 104 forks source link

关于模型TETFN使用的数据设置存在的疑问 #110

Open 1179365124 opened 2 months ago

1179365124 commented 2 months ago

您好,非常感谢您在MSA领域做出的贡献,我们对您的工作表示尊重!我们有两个疑问: 1.在MOSI和MOSEI上,项目中TETFN的数据设置以及展示的结果都是基于对齐数据的,而在原始论文中,我们看到作者展示了非对齐上的模型性能,我们对此差异感到困惑。我们想要复现TETFN时应该基于哪种数据设置?对比结果应该参照您的还是原始论文的? 2.SIMS上只有非对齐数据,那么在TETFN中的的数据设置只能为非对齐。我们也看到您在result-stat.md中SIMS上的结果是基于非对齐数据的。但在config_regression.json中TETFN在数据设置参数是对齐数据的。非常感谢您百忙之中解答我们的疑惑!

Columbine21 commented 2 months ago

您好,对于 1. TETFN 在我们复现的时候并没有进行开源,我们只是根据论文尽最大可能复现得到的模型,与原论文有差异是正常的,本仓库的TETFN的复现进提供参考,有official的实现,欢迎给本仓库pull request。

  1. 因为在设置中设置了 need_model_aligned=True,进行了模型CTC对齐,将原始的非对齐数据进行了CTC模型对齐,将模型对齐的数据传入了TETFN模型。
1179365124 commented 2 months ago

您好,对于 1. TETFN 在我们复现的时候并没有进行开源,我们只是根据论文尽最大可能复现得到的模型,与原论文有差异是正常的,本仓库的TETFN的复现进提供参考,有official的实现,欢迎给本仓库pull request。 2. 因为在设置中设置了 need_model_aligned=True,进行了模型CTC对齐,将原始的非对齐数据进行了CTC模型对齐,将模型对齐的数据传入了TETFN模型。

非常感谢您的回复,我们根据您的回复认为,您复现的TETFN在MOSI和MOSEI上都使用了对齐数据和对齐处理,而在SIMS上使用了非对齐数据和对齐处理,不知道这样理解是否有偏差?

Nasinhore1 commented 2 months ago

您好,非常感谢您在MSA领域做出的贡献,我们对您的工作表示尊重!我们有两个疑问: 1.在MOSI和MOSEI上,项目中TETFN的数据设置以及展示的结果都是基于对齐数据的,而在原始论文中,我们看到作者展示了非对齐上的模型性能,我们对此差异感到困惑。我们想要复现TETFN时应该基于哪种数据设置?对比结果应该参照您的还是原始论文的? 2.SIMS上只有非对齐数据,那么在TETFN中的的数据设置只能为非对齐。我们也看到您在result-stat.md中SIMS上的结果是基于非对齐数据的。但在config_regression.json中TETFN在数据设置参数是对齐数据的。非常感谢您百忙之中解答我们的疑惑!

您好,请问TETFN的模型如何运行,我选择tetfn模型后会报错没有这个模块,请问大佬这是哪里出问题了呀?

Chaos-Lin commented 2 months ago

您好,请问TETFN的模型如何运行,我选择tetfn模型后会报错没有这个模块,请问大佬这是哪里出问题了呀?

您好,可以检查一下 ATIO和AMIO是否有加入trtfn模块,以及检查在multitask目录下的init文件中是否有import tetefn模块

Nasinhore1 commented 2 months ago

您好,请问TETFN的模型如何运行,我选择tetfn模型后会报错没有这个模块,请问大佬这是哪里出问题了呀?

您好,可以检查一下 ATIO和AMIO是否有加入trtfn模块,以及检查在multitask目录下的init文件中是否有import tetefn模块

感谢大佬的回复,还有一个问题,我运行后报错,无法下载,请问手动下载应该下载哪个文件,以及应该放在哪里呀:OSError: Can't load tokenizer for 'bert-base-uncased'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'bert-base-uncased' is the correct path to a directory containing all relevant files for a BertTokenizer tokenizer.

Chaos-Lin commented 2 months ago

就下载bert-base-uncased这个,你可以把该模块所包含的文件全下载了取同款名称,然后全放进去。 pic

Nasinhore1 commented 2 months ago

就下载bert-base-uncased这个,你可以把该模块所包含的文件全下载了取同款名称,然后全放进去。 pic

好的,那代码有哪些路径需要更改嘛