-
Hello~
最近遇到多目标学习的问题,用一个模型学习回归和分类任务,但是用MMOE结果很异常。
要是想适应回归和分类任务,你对如何修改MMOE有什么建议么?
-
首先非常感谢你的非常优秀的工作。
其次在拜读了你的文章和复线你的代码之后,我有以下几个疑问,希望能得到你的答复。
1. 为什么文章中对比方法中没有mmoe模型呢?我看你的代码中已经实现了mmoe方法(TAAN 结果要明显优于mmoe文章汇报的结果)
2. 我在自己的业务场景下跑了TAAN的网络,在我的数据集场景下,结果震荡比较严重。请问这是正常的么?你之前有遇到过么?对于结果震荡…
-
Can we use the MMoE to deal with single-task classification problem?
ghost updated
2 years ago
-
1. 当前现状
paddle在实现MMoe时,在每个expert权重初始化时用了常量初始化,weight_attr=nn.initializer.Constant(value=0.1),
bias_attr=nn.initializer.Constant(value=0.1), 详情参见https://github.com/PaddlePaddle/PaddleRec/blob/master/…
-
### What happened + What you expected to happen
my ray job often fails with following events:
All of those events say "Worker exit type: SYSTEM_ERROR Worker exit detail: Worker exits unexpecte…
-
# 第一次作业
> 很荣幸入选 Angel 项目,开始开源实战环节。能够和导师们、同学们共同学习、了解 Angel 分布式机器学习平台架构设计原理是个难得的机会。以下是本次开源活动的实战笔记。因本人水平有限,错误和不足之处在所难免,敬请各位专家读者指正。
# Angel 环境搭建
本次项目是基于 [Angel-ML/PyTorch-On-Angel](https://github…
-
测试环境:A100 单机4卡horovod同步训练 DeepRec vs Nvidia-TF 1.15.4
训练样本:3路embedding,样本存储在hdfs,tfrecord结构 batch_size 1024
模型结构:transformer+mmoe
测试性能:DeepRec 1.8s/step Nvidia-TF 0.55s/step
-
I cannot run the codes successfully. When using the default configuration "ConcatOp : Dimensions of inputs should match" appears. While when I changed model_type to others all failed. Even if model_t…
-
-
下载了全量数据集,参数的话,只改了两个tower的dims为[256,128,64],其他没动,不管设置什么seed,最后出来的ctr auc总是0.5啊,cvr的看着还算正常,接近0.6.