search

yingrliu / TAAN-MTL

Adaptive Activation Network and Functional Regularization for Efficient and Flexible Deep Multi-Task Learning
MIT License
16 stars 4 forks source link

关于文章的几点疑问 #1

Open selous123 opened 3 years ago

selous123 commented 3 years ago

首先非常感谢你的非常优秀的工作。

其次在拜读了你的文章和复线你的代码之后，我有以下几个疑问，希望能得到你的答复。

  1. 为什么文章中对比方法中没有mmoe模型呢？我看你的代码中已经实现了mmoe方法（TAAN 结果要明显优于mmoe文章汇报的结果）

  2. 我在自己的业务场景下跑了TAAN的网络，在我的数据集场景下，结果震荡比较严重。请问这是正常的么？你之前有遇到过么？对于结果震荡你有什么调参的建议么？

yingrliu commented 3 years ago

您好，感谢您对这个工作的兴趣。关于您问的两个问题：

  1. 为什么文章中对比方法中没有mmoe模型呢？我看你的代码中已经实现了mmoe方法（TAAN 结果要明显优于mmoe文章汇报的结果） -- MMOE的结果是论文第一轮review之后根据reviewer的意见加上去的，我们跑了一下发现和hard-sharing的效果差不太多，受文章篇幅的限制没有加进去。

  2. 我在自己的业务场景下跑了TAAN的网络，在我的数据集场景下，结果震荡比较严重。请问这是正常的么？你之前有遇到过么？对于结果震荡你有什么调参的建议么？ -- 你有加regularization term吗， 如果震荡很厉害，建议调小alpha和奇函数个数，或者先去掉regularization看一下。

selous123 commented 3 years ago

好的，非常感谢您的回复！