search

shawnspace / HRAN

The inplementation of Hierarchical Recurrent Attention Network
38 stars 9 forks source link

模型效果？ #5

Open ruxintan opened 5 years ago

ruxintan commented 5 years ago

您好，请问下您复现的hran模型自己是否在公开数据集上跑过？是否基本上达到了论文的效果？ 我自己用您的模型跑了一下其他的数据集，发现还没有最基本的seq2seq的bleu值高。谢谢。

zysNLP commented 5 years ago

我尝试做出一些回答，在原论文中特意指出了作者并没有使用bleu作为evaluation metric，并给出了一些不用的理由，文中主要使用了perplexity，代码里应该也用的这个。所以bleu不高可能确实是事实。建议参考下论文中evaluation部分。期待github作者的回答～

ruxintan commented 5 years ago

您好，谢谢您的回复。 请问您用这个代码跑出来一些定量的结果了吗？能否提供一些相关的数据？ 我这边直接模型过拟合来测试我的训练集发现测试的效果也不尽如人意，我不太清楚是模型本身问题还是我自身参数设置问题？谢谢

zysNLP commented 5 years ago

不知道您看没看过这篇论文，这个模型我还在看，数据不是我自己的，建议您根据作者的提示自己准备一些数据。

airzs commented 5 years ago

我在自己的中文数据集上以及豆瓣对话数据集上跑出来的效果也都不好，也尝试了在测试集上过拟合，效果也不理想，是模型实现的问题还是参数设置的问题呀？

ABAPPLO commented 5 years ago

我在自己的中文数据集上以及豆瓣对话数据集上跑出来的效果也都不好，也尝试了在测试集上过拟合，效果也不理想，是模型实现的问题还是参数设置的问题呀？ 不管我查询什么话，结果返回都一样，你也是吗

airzs commented 5 years ago

我在自己的中文数据集上以及豆瓣对话数据集上跑出来的效果也都不好，也尝试了在测试集上过拟合，效果也不理想，是模型实现的问题还是参数设置的问题呀？ 不管我查询什么话，结果返回都一样，你也是吗

我们遇到的问题可能不太一样