模型结果复现问题咨询

[will-wiki]

博主你好，根据你们开源出来的代码复现后，初始的logic acc=0.796,execut acc=0.846左右，然后自己做了一部分的修改，包括当预测的cond_conn_op为0时只选取分数最高的value、改用取value排序分数前两个等，指标提升到了logic acc=0.8323,execut acc=0.8781，但是跟你们ppt里面的logic acc=0.87还是有比较大的差距，所以想请问下你们还有什么其他的后处理操作嘛，或者能够给一点提示建议什么的，十分感激～

[Smile0524]

博主你好，根据你们开源出来的代码复现后，初始的logic acc=0.796,execut acc=0.846左右，然后自己做了一部分的修改，包括当预测的cond_conn_op为0时只选取分数最高的value、改用取value排序分数前两个等，指标提升到了logic acc=0.8323,execut acc=0.8781，但是跟你们ppt里面的logic acc=0.87还是有比较大的差距，所以想请问下你们还有什么其他的后处理操作嘛，或者能够给一点提示建议什么的，十分感激～ 您好，我复现了代码之后，在model2 pre_sql中预测的conds有很多是空的，代码啥的都没动，想问下这是怎么回事，很多空的情况下计算logic_acc只有27%。这块有点不太明白。

[beader]

您好，我复现了代码之后，在model2 pre_sql中预测的conds有很多是空的，代码啥的都没动，想问下这是怎么回事，很多空的情况下计算logic_acc只有27%。这块有点不太明白。

你的问题问的太不具体了，很难帮到你

[Smile0524]

您好，我复现了代码之后，在model2 pre_sql中预测的conds有很多是空的，代码啥的都没动，想问下这是怎么回事，很多空的情况下计算logic_acc只有27%。这块有点不太明白。

你的问题问的太不具体了，很难帮到你

抱歉我可能没表达明白，就是我运行了这个代码后发现结果不好。我对代码的改动只有：因为现在测试集的标签是不公开的，所以我用了验证集代替了测试集。模型训练好之后对验证集进行预测，然后用预测结果与验证集的标签进行了比较，计算了各子任务准确率，最终其他还行，val的准确率只有57%，整体逻辑形式准确率只有27%，与您的线上结果相差甚远。所以想咨询一下您，可能是什么原因导致的。代码我只把测试集路径改成了验证集，其他没动。