yuangh-x / 2022-NIPS-Tenrec

202 stars 30 forks source link

复现论文结果 #13

Open hezhengting opened 1 year ago

hezhengting commented 1 year ago

我用gen_ctr.py产生了100K用户数据,运行ESSM任务。 python main.py --task_name=mtl --seed=100 --model_name=esmm --dataset_path="ctr_data_100000.csv" --train_batch_size=4096 --val_batch_size=4096 --test_batch_size=4096 --epochs=20 --lr=0.0001 --embedding_size=32 --mtl_task_num=2 我发现最好click/like的AUC只有“0.605,0.710” Epoch 18 train loss is 0.736, click auc is 0.605 and like auc is 0.710

远远低于论文中的ESMM 0.7940 0.9110

想请问下可能是地方需要调整。 附件是我产生的数据。

ctr_data_100000.zip

yuangh-x commented 1 year ago

你好,论文中使用的是100万用户的数据做的实验,现在各个任务的子数据集都包含在官方的下载地址里,包括MTL任务的

hezhengting commented 1 year ago

我有下载官方数据。我只是好奇,我只是从100万里面取10万数据,为何准确率会下降那么多。我是稍微修改了下gen_ctr.py,生成的10万数据。训练的参数有什么需要相应改变的吗

fajieyuan commented 7 months ago

请尝试一下官方代码,如果您发现结果不一致或者代码有bug,欢迎提出来