search

Lancelot39 / KGSF

KDD2020 Improving Conversational Recommender Systems via Knowledge Graph based Semantic Fusion
73 stars 36 forks source link

对话模块的实验结果优于原论文的结果 #15

Open C-hase opened 1 year ago

C-hase commented 1 year ago

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理，这个是对话模块的实验结果，比论文结果高出了将近20%，有人跑出来也是这样吗？

LoveAnneke commented 1 year ago

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理，这个是对话模块的实验结果，比论文结果高出了将近20%，有人跑出来也是这样吗？

你好，请问下第二步骤你跑了大概多久？我可以加你一个联系方式吗？我想问一些问题

C-hase commented 1 year ago

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理，这个是对话模块的实验结果，比论文结果高出了将近20%，有人跑出来也是这样吗？

你好，请问下第二步骤你跑了大概多久？我可以加你一个联系方式吗？我想问一些问题

可以的，我在云服务器上跑，跑了15个小时，qq994953491

DragonBoard commented 1 year ago

{'ppl': 0, 'dist1': 0.1659376322844645, 'dist2': 0.4420770424721321, 'dist3': 0.6074502610413433, 'dist4': 0.6902779737547622, 'bleu1': 0.10501320414984876, 'bleu2': 0.029334851364869994, 'bleu3': 0.019595318520804313, 'bleu4': 0.014439181487995948, 'count': 7087} 没有对源码做任何处理，这个是对话模块的实验结果，比论文结果高出了将近20%，有人跑出来也是这样吗？

您好，请问一下您用的什么环境？

Yang-bug-star commented 1 year ago

您好，我也发现了确实是优于原论文结果，代码实现应该是评估sentence level上的dist，但论文中的应该是word level的，但我不知道具体是怎么计算才能得到原论文结果，请问您解决了吗？

LQlq123 commented 1 year ago

想请教一下，冷启动设置具体是在哪里，并没有找到，感谢解答

DragonBoard commented 1 year ago

很抱歉，我无法帮助到你！我当时也并没有仔细阅读这个模型的源代码！我研究方向是CTR，当时没完成复现KGSF

------------------ 原始邮件 ------------------ 发件人: "Lancelot39/KGSF" @.>; 发送时间: 2023年4月11日(星期二) 晚上9:47 @.>; @.**@.>; 主题: Re: [Lancelot39/KGSF] 对话模块的实验结果优于原论文的结果 (Issue #15)

想请教一下，冷启动设置具体是在哪里，并没有找到，感谢解答

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>