search

wireless911 / span-aste

a sample pytorch Implementation of ACL 2021 research paper "Learning Span-Level Interactions for Aspect Sentiment Triplet Extraction".
Apache License 2.0
38 stars 2 forks source link

可以复现出论文上的结果吗？ #13

Closed ZayIsAllYouNeed closed 1 year ago

ZayIsAllYouNeed commented 1 year ago

您好！请问在复现过程中需要注意什么呢？我跑了下 4 个数据集，没有跑出论文上的结果

wireless911 commented 1 year ago

你用的是哪个数据集，可以打印你的loss曲线看下

wireless911 commented 1 year ago

按照README的操作，复现结果没问题的

ZayIsAllYouNeed commented 1 year ago

按照README的操作，复现结果没问题的

抱歉，回复晚了。我后来又在res14和res15上重复了几次实验，发现确实能复现出结果，但是非常依赖seed。这是我的结果，波动非常大： 15res用3个不同seed跑出的模型在test的f1: 0.60739, 0.63004, 0.63801;(paper: 63.27) 14res用2个不同seed跑出的模型在test的f1: 0.70797, 0.73050;(paper: 71.85) 您看这样的结果正常吗？

wireless911 commented 1 year ago

我没有做过多的实验，是在res15数据集中测试的，论文中也是保存了最佳的权重1686727145149你可以按照论文中的设置做下实验看看结果

bale-le commented 1 year ago

按照README的操作，复现结果没问题的

抱歉，回复晚了。我后来又在res14和res15上重复了几次实验，发现确实能复现出结果，但是非常依赖seed。这是我的结果，波动非常大： 15res用3个不同seed跑出的模型在test的f1: 0.60739, 0.63004, 0.63801;(paper: 63.27) 14res用2个不同seed跑出的模型在test的f1: 0.70797, 0.73050;(paper: 71.85) 您看这样的结果正常吗？

你好，请问你的参数分别都是如何设置的呢?

ZayIsAllYouNeed commented 1 year ago

按照README的操作，复现结果没问题的

抱歉，回复晚了。我后来又在res14和res15上重复了几次实验，发现确实能复现出结果，但是非常依赖seed。这是我的结果，波动非常大： 15res用3个不同seed跑出的模型在test的f1: 0.60739, 0.63004, 0.63801;(paper: 63.27) 14res用2个不同seed跑出的模型在test的f1: 0.70797, 0.73050;(paper: 71.85) 您看这样的结果正常吗？

你好，请问你的参数分别都是如何设置的呢?

您好，我是使用代码里的默认参数，只是改了seed。

bale-le commented 1 year ago

按照README的操作，复现结果没问题的

抱歉，回复晚了。我后来又在res14和res15上重复了几次实验，发现确实能复现出结果，但是非常依赖seed。这是我的结果，波动非常大： 15res用3个不同seed跑出的模型在test的f1: 0.60739, 0.63004, 0.63801;(paper: 63.27) 14res用2个不同seed跑出的模型在test的f1: 0.70797, 0.73050;(paper: 71.85) 您看这样的结果正常吗？

你好，请问你的参数分别都是如何设置的呢?

您好，我是使用代码里的默认参数，只是改了seed。

请问训练和测试的seed分别设置多少才得到论文效果的呀？

ZayIsAllYouNeed commented 1 year ago

按照README的操作，复现结果没问题的

抱歉，回复晚了。我后来又在res14和res15上重复了几次实验，发现确实能复现出结果，但是非常依赖seed。这是我的结果，波动非常大： 15res用3个不同seed跑出的模型在test的f1: 0.60739, 0.63004, 0.63801;(paper: 63.27) 14res用2个不同seed跑出的模型在test的f1: 0.70797, 0.73050;(paper: 71.85) 您看这样的结果正常吗？

你好，请问你的参数分别都是如何设置的呢?

您好，我是使用代码里的默认参数，只是改了seed。

请问训练和测试的seed分别设置多少才得到论文效果的呀？

好像是1024，影响结果的除了seed，还有 深度学习框架版本 以及其他可能的因素，可能需要多试几个seed，结果会有波动。另外，我感觉因为这个数据集太小了，所以结果波动的厉害，如果是比较大的数据集应该不会有这么大的波动。

bale-le commented 1 year ago

按照README的操作，复现结果没问题的

抱歉，回复晚了。我后来又在res14和res15上重复了几次实验，发现确实能复现出结果，但是非常依赖seed。这是我的结果，波动非常大： 15res用3个不同seed跑出的模型在test的f1: 0.60739, 0.63004, 0.63801;(paper: 63.27) 14res用2个不同seed跑出的模型在test的f1: 0.70797, 0.73050;(paper: 71.85) 您看这样的结果正常吗？

你好，请问你的参数分别都是如何设置的呢?

您好，我是使用代码里的默认参数，只是改了seed。

请问训练和测试的seed分别设置多少才得到论文效果的呀？

好像是1024，影响结果的除了seed，还有GPU型号、深度学习框架版本 等等，可能需要多试几个seed，结果会有波动。

好的，非常感谢您的答复，我再试一下