Closed PineappleWill closed 1 year ago
你好,config_path应该也改一改吧,毕竟配置是不一样的,否则的话,有些参数就加载不上了吧。
你好,config_path应该也改一改吧,毕竟配置是不一样的,否则的话,有些参数就加载不上了吧。
你好,config_path也是改了的
@PineappleWill 你好,我们之前并没有用large模型测试过ptuning,所以我刚刚使用第0个数据集测试了下large模型,在第一个epoch确实像随机,后面就不断变好,结果如下。如果你后面的epoch也是随机结果,那检查下模型下载有没有问题(可以用该模型测试下其他分类问题),以及代码有无其他改动,或者一些其他特殊情况。
@PineappleWill 你好,我们之前并没有用large模型测试过ptuning,所以我刚刚使用第0个数据集测试了下large模型,在第一个epoch确实像随机,后面就不断变好,结果如下。如果你后面的epoch也是随机结果,那检查下模型下载有没有问题(可以用该模型测试下其他分类问题),以及代码有无其他改动,或者一些其他特殊情况。
感谢您的回复
我换成在CSLDCP数据集上测试,结果依然不正常,预训练模型也验证了没有问题。
请问可否提供一下您测试的环境,包括cuda版本和tf版本
@PineappleWill cuda 10.1,其他环境你可以看下https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/README.md
另外你可以贴下tnews任务上的训练结果吗?
@PineappleWill cuda 10.1,其他环境你可以看下https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/README.md
另外你可以贴下tnews任务上的训练结果吗?
好的,我的cuda版本为10.2,此外环境全部一致,超参数也用的ptuning_tnews.py里默认的。 这是我在tnews第0个数据集上的结果,和您贴出来的差了很多
@wellinxu
下方我用base的结果,前几个epoch就能接近论文里的结果,因此我比较怀疑是预训练模型的问题。
我使用的模型是chinese_roberta_wwm_large_ext_L-24_H-1024_A-16,下载的地址为https://github.com/ymcui/Chinese-BERT-wwm,尝试过重新下载和用在别处都没有问题。
请问您使用的large模型是和我一样吗?方便的话您可以把模型发到我邮箱414497968@qq.com让我来试一试,谢谢
@PineappleWill 你可以到这里下载模型 链接: https://pan.baidu.com/s/1m9SDYBhS1KHRqD8SqqaMoA 密码: e7j1 顺便问一下,你跑的那个文件,应该是https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/ptuning_tnews_old.py, 看你之前说运行ptuning_tnews.py文件。
您好,我运行的是 https://github.com/CLUEbenchmark/FewCLUE/tree/main/baselines/models_keras/ptuning/ptuning_tnews.py 另外,用了您的模型还是效果很差......我又尝试了iflytex和csldcp数据集,结果分别为1.15%和2.02%。尝试调参最多只涨1%左右的正确率......
@PineappleWill 运行这个文件 https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/ptuning_tnews_old.py
ptuning/文件夹中,是参考的苏剑林大佬的代码,跟论文方法有一些区别,ptuning_origin/文件夹中,是我们自己复现的论文方法,跟论文中的方法区别更小
@PineappleWill 运行这个文件 https://github.com/CLUEbenchmark/FewCLUE/blob/main/baselines/models_keras/ptuning_origin/ptuning_tnews_old.py
ptuning/文件夹中,是参考的苏剑林大佬的代码,跟论文方法有一些区别,ptuning_origin/文件夹中,是我们自己复现的论文方法,跟论文中的方法区别更小
问题解决了,非常感谢T_T
您好,我是中国科学技术大学计算机学院的研究生,目前研1,最近在使用chinese-roberta-wwm-ext-large跑数据集的时候也遇到了和您类似的问题,跑了10个epoch后准确率一直上不去。想请问下您是如何解决的呢?
hi同学,我换成了目录下的ptuning_origin中的代码后问题解决了
------------------ 原始邮件 ------------------ 发件人: "CLUEbenchmark/FewCLUE" @.>; 发送时间: 2022年10月9日(星期天) 下午4:00 @.>; @.**@.>; 主题: Re: [CLUEbenchmark/FewCLUE] 使用RoBERTa-large无法复现P-Tuning结果 (Issue #16)
您好,我是中国科学技术大学计算机学院的研究生,目前研1,最近在使用chinese-roberta-wwm-ext-large跑数据集的时候也遇到了和您类似的问题,跑了10个epoch后准确率一直上不去。想请问下您是如何解决的呢?
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>
您好,很感谢您的工作!
我在tnews数据集上复现时p-tuning,使用RoBERTa-wwm-ext可以得到与论文相近的结果,但是改成RoBERTa-wwm-ext-large后结果很差,仅比random的结果好一点。
我更换模型时只更改了预训练模型的路径
我并没有发现其他需要改动的地方,请问这样有问题吗?我尝试调整了学习率等超参数,但效果依然不佳