关于多模态的形式

[BanaBanaBanaa]

您好！非常感谢您如此出色的作品！ 对于多模态的数据是如何进行工作的我有点没看明白，我的理解是这样的：每个模态的数据以及标签作为一组，同时并行训练两个模态的数据，每个模态内部进行Channel exchange,不知道我理解的是否正确，非常期待您的回答！ 谢谢！

[yikaiw]

嗯嗯，理解是正确的。两个模态同时（并行地）训练，使用相同的网络参数（独立BN或IN），训练过程中网络的所有block均进行channel exchange。