为什么对rgb, depth和ens的loss求和？

yikaiw / CEN

[TPAMI 2023, NeurIPS 2020] Code release for "Deep Multimodal Fusion by Channel Exchanging"

MIT License

284 stars 43 forks source link

Closed ZqCATCAT closed 2 years ago

ZqCATCAT commented 2 years ago

作者你好！在文章的loss公式中，我的理解是只将ens拿来算loss。为什么代码里面需要对rgb，depth和ens的loss求和。

yikaiw commented 2 years ago

代码中分别对rgb，depth和ens的loss求和，主要为了解耦ens weight和网络的学习过程，即在更新ens weight时网络参数不更新。