关于论文代码缺少和测试结果的问题

stack-heap-overflow commented 4 years ago

您好，阅读了你们的论文，我对论文的领域和无监督方法很感兴趣，也感谢你们开源的代码。但是在复现结果时我发现代码中缺少一部分评价代码(包括t-SNE可视化和Schema Matching等)，以及缺少推断出最终结果的代码(类似于测试集中key.txt的结果)。另外，按照slot-coherence中的测试代码，我在基本收敛的模型和全量数据集上运行得到的指标(average topic coherence)只有7%左右(对比论文中18%)，以我的理解从answer文件获取key.txt的结果也没有想象中好。请问能否公开一下有关的代码，并指出一下我在复现中可能存在的问题。我的邮箱是creativex@qq.com，若能得到回复我不胜感激。

amelieyu1989 commented 3 years ago

我也发现了这个问题，请问你拿到了么

Glaciohound commented 3 years ago

大家好，我是这个领域的新手。我来提供一下我得到的结果。我最近跑了一下里面的代码，并以我的理解排除了一些 bug。

我发现 slot coherence 随训练 epoch 先增后减，最优在 130 epoch 左右（而不是代码里默认的80）。最好的结果大约在 0.141（相比较于论文中的 0.18）。

我把这些放在我的 fork 里：https://github.com/Glaciohound/ACL2019-ODEE 。如果有问题欢迎指出……

wjy3326 commented 2 years ago

问下大家跑完这个模型，预测效果怎么样，提取的事件，槽准确吗？

lx865712528 / ACL2019-ODEE

关于论文代码缺少和测试结果的问题 #2