xiami2019
commented
2 years ago 您好，请问DST任务，我用的https://convlab.blob.core.windows.net/convlab-2/trade_crosswoz_data.zip数据集中的test_dials.json 和 https://convlab.blob.core.windows.net/convlab-2/trade_crosswoz_model.zip提供的模型运行evaluate.py，joint acc最终只有24，比论文中的36.08低很多，然后将test_dials.json中的500个数据分成S，M，M+T，CM，CM+T之后，再每个evaluate，发现S得分80高于论文的71.67，其余都比论文低十几到二十分，（代码逻辑没有改，只把gating_dict = {"ptr":0, "none":1}改成了gating_dict = {"ptr": 0, "dontcare": 1, "none": 2}，因为不改这个的话和上面链接提供的模型冲突），所以我想确认一下我思路是不是有问题，或者测试数据用的和论文不一样，谢谢了。
朋友你这个问题解决了吗
xu-song
您好，请问DST任务，我用的https://convlab.blob.core.windows.net/convlab-2/trade_crosswoz_data.zip数据集中的test_dials.json 和 https://convlab.blob.core.windows.net/convlab-2/trade_crosswoz_model.zip提供的模型运行evaluate.py，joint acc最终只有24，比论文中的36.08低很多，然后将test_dials.json中的500个数据分成S，M，M+T，CM，CM+T之后，再每个evaluate，发现S得分80高于论文的71.67，其余都比论文低十几到二十分，（代码逻辑没有改，只把gating_dict = {"ptr":0, "none":1}改成了gating_dict = {"ptr": 0, "dontcare": 1, "none": 2}，因为不改这个的话和上面链接提供的模型冲突），所以我想确认一下我思路是不是有问题，或者测试数据用的和论文不一样，谢谢了。