关于iMMoE

[Chandler356]

1.在使用iMMoE细化特征ris时，生成了eis0和eis1,请eis0和eis1有什么区别吗，它们在经过iMMoE时，是从两个Gate输出的吗,如果是，那它们分别从不同Gate经过是由什么依据，标准是什么？ 2.在使用iMMoE细化融合特征[eis1,et1]以及自举阶段引导细化多视图表示[wis; wip; wm; wx; wt]时特征表示只需要经过一个Gate网络即可吗？ 3.iMMoE中的三个专家网络负责的部分有何区别？ 希望得到你的解答，十分感谢。

[yingqichao]

1.专家网络的输出共用特征提取器，然后根据不同的gate分别对每个专家的特征进行加权，组成不同的输出，这里的话没有那种启发式的依据，让网络自己学的，主要是考虑到图像语义和多模态特征提取可以有共享的信息。2.是的，这边的专家网络只需要一个输出，专家网络在不是multitask的任务里也经常被用到。3.这个的话因为网络都是黑盒的，所以确实不太清楚每个专家网络的分工是怎么样的，我甚至也没有去看过不同专家网络会被如何加权。