search

QingyangZhang / QMF

Quality-aware multimodal fusion on ICML 2023
MIT License
71 stars 3 forks source link

作者你好，发现图像分类任务中models里没有QMF模型的代码 #6

Closed 18805459971 closed 1 month ago

18805459971 commented 1 month ago

作者你好，发现图像分类任务中models里没有QMF模型的代码

18805459971 commented 1 month ago

if self.args.df: txt_img_out = (txt_out txt_conf.detach() + img_out img_conf.detach()) 这句话是否就是决定是否是QMF还是late_fusion模型的关键啊

QingyangZhang commented 1 month ago

是的，这里通过对模型预测进行加权求和实现动态融合