beader / tianchi_nl2sql

追一科技首届中文NL2SQL挑战赛决赛第3名方案+代码
533 stars 144 forks source link

model2结果复现问题 #10

Closed zhangyimi closed 4 years ago

zhangyimi commented 5 years ago

您好,我最近在复现您的代码效果时中碰到一些问题想向您请教。 就是按照您的代码model1可以复现出ppt中的87.0%的准确率,但是model2直接使用代码中的超参在验证集上logical form完全匹配的准确率只能达到79.5%(5个epoch,阈值卡在0.9,评测方法就是在model1的conds的set中加入cond_value),因为跟您ppt中85.37%的准确率有一定差距,并且代码中阈值是卡在0.995。所以想跟您请教是我实验做的有问题还是model2需要继续调参或者加上后处理才能达到比较好的效果。

Hyiiego commented 4 years ago
  1. model2在实际训练时使用双卡,batch_size为92,使用val_set的数据,取conds部分准确率最高的一个模型,一般在第10-12个epoch左右。
  2. 阈值一般取0.995或0.999。
  3. 比赛使用的代码在merge_result时,不只是按阈值来选取,还包括一系列后处理,比如当预测的cond_conn_op为0时,只选取概率最高的value等等。
zhangyimi commented 4 years ago

好的,我做一下尝试,非常感谢!