Do Current Multi-Task Optimization Methods in Deep Learning Even Help?

[yushengjiexy]

我实验下来也这样，在我的网络里提升有限。 大佬，你怎么看这篇paper https://arxiv.org/pdf/2209.11379.pdf

[Baijiong-Lin]

这些都是要case by case讨论的，MTL research在optimization的研究一般都是基于最简单的HPS结构，而实际场景中的网络会更加复杂，可能导致这些optimization的方法不work

[yushengjiexy]

大佬，那在多任务里，除了梯度策略、网络架构，还有其它对提点有帮助的技术吗

[Baijiong-Lin]

根据实际场景的问题去设计特定的网络结构应该是最有效的方法，但这并不通用

[yushengjiexy]

我理解多任务学习要解决的最主要的问题就是任务间的冲突。 根本解决的办法是设计一种网络，共享部分是多任务的耦合部分，每个任务独享的网络部分是任务独有的特征（任务间的冲突特征），那就会对模型预测效果有最明显的提升，是吗？

[Baijiong-Lin]

根据实际场景的问题去设计特定的网络结构应该是最有效的方法，但这并不通用

在特定问题下可以利用问题的先验信息去设计网络结构，但这并不是通用方法，比如MTAN引入了attention可以解决很多CV的感知任务但很难被用于其他领域比如NLP。相比之下，optimization的研究是比较通用的

[yushengjiexy]

根据实际场景的问题去设计特定的网络结构应该是最有效的方法，但这并不通用

在特定问题下可以利用问题的先验信息去设计网络结构，但这并不是通用方法，比如MTAN引入了attention可以解决很多CV的感知任务但很难被用于其他领域比如NLP。相比之下，optimization的研究是比较通用的 @Baijiong-Lin 大佬，在CV的感知任务这一块，除了MTAN的attention模块，其它还有推荐的吗？比如MMOE这种门电路的结构可以用吗，或者其它的。

[Baijiong-Lin]

MMoE理论上肯定能用，但效果未知。你可以看看这篇survey：Multi-Task Learning for Dense Prediction Tasks: A Survey

[yushengjiexy]

MMoE理论上肯定能用，但效果未知。你可以看看这篇survey：Multi-Task Learning for Dense Prediction Tasks: A Survey

看了，我做cv的感知，想试试MTAN和PAD-Net。这篇综述里也说了，优化策略还不如超参数的网格搜索。我把你开源的optimization都试了个遍，结果发现最有效的居然是GLS。您对类似yolop，yolopv2这一类硬参数共享的文章在不大幅增加FLOPS的基础上，有啥改进建议嘛？ yolop:https://arxiv.org/pdf/2108.11250.pdf yolopv2:https://arxiv.org/pdf/2208.11434.pdf

[Baijiong-Lin]

在我们的实验里，GLS在有些dataset上表现不错但在另一些dataset上表现不佳。我对yolop这类的工作不太熟悉。

[yushengjiexy]

谢谢