search

lileipisces / PEPLER

TOIS'23, Personalized Prompt Learning for Explainable Recommendation
124 stars 20 forks source link

关于实验结果复现的问题 #4

Open PlayerDza opened 1 year ago

PlayerDza commented 1 year ago

您好！关于您在TripAdvisor数据集上进行的PEPLER(MLP)实验，我们参照您给出的代码和指令设置在5个数据集上进行了实验，但实验结果均无法得到您在论文里面呈现的效果。能否提供一些具体的超参数设置以便我们更好的复现您的实验呢？谢谢您！

lileipisces commented 1 year ago

你把下面这两个参数这样设置试试 rating_reg 1.0 use_mf False

PlayerDza commented 1 year ago

这是我们实验使用的超参数 ----------------------------------------ARGUMENTS---------------------------------------- data_path ./data/TripAdvisor/reviews.pickle index_dir ./data/TripAdvisor/1/ lr 0.001 epochs 100 batch_size 128 cuda True log_interval 200 checkpoint tripadvisor outf generated.txt endure_times 5 rating_reg 1.0 text_reg 1.0 use_mf False words 20 ----------------------------------------ARGUMENTS----------------------------------------

lileipisces commented 1 year ago

我就是这样设置的，会不会是pytorch和transformers版本的问题？你看一下README

PlayerDza commented 1 year ago

好的好的，感谢解答，我们调整一下版本再试验一下

PlayerDza commented 1 year ago

您好，我在使用README中的环境配置时出现了这样的问题： OSError: Can't load tokenizer for 'gpt2'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'gpt2' is the correct path to a directory containing all relevant files for a GPT2Tokenizer tokenizer. 请问您是否了解这种报错可能的问题呢？ 以及您在实验中每个数据集设置了5种不同分布的数据集，请问您在实验中对于5个数据集得到的结果是经过怎样的处理后得到最终在论文里的结果呢？取平均值还是取最大值呢？ 另外我在相同的数据集上使用给出的相同的模型进行多次实验，发现实验结果有较大波动，请问您是如何解决这个问题的呢？

lileipisces commented 1 year ago

我没有遇到过这个问题，可能你得卸载transformers重装。确实会有波动，metric不稳，所以才五次求平均。

PlayerDza commented 1 year ago

好的好的 十分感谢您的回复