VisualJoyce / ChengyuBERT

[COLING 2020] BERT-based Models for Chengyu
MIT License
17 stars 3 forks source link

accuracy #14

Closed starry-y closed 3 years ago

starry-y commented 3 years ago

你好,我用你放出来的2stage_stage1_wwm_ext训练了第二阶段的official ‘chengyubert-2stage-stage2’,结果只有77。按照您_A BERT-based Two-Stage Model for Chinese Chengyu Recommendation_Table4的结果,应该是85.43吧。请问为什么会差这么多呢,是我哪里没有注意到吗?

VisualJoyce commented 3 years ago

几块gpu,训练参数是怎样的?

starry-y commented 3 years ago

2块gpu,我设置的训练steps不是25000而是50000,其他的参数和你在readme里面给的是一样的。我在48000的时候达到的77

VisualJoyce commented 3 years ago

梯度累积设置大一点,比如5,看看行不行

starry-y commented 3 years ago

好的我试一下。我看您论文里的最好结果是86.15,对应是在original的情况下得到的吗

VisualJoyce commented 3 years ago

combined和enlarged差不多,应该都能达到类似水平

starry-y commented 3 years ago

感谢您的回复!

starry-y commented 3 years ago

还是不行,根本达不到78 请问是不是要用您的2stage_stage1_wwm_ext重新preprocessing

VisualJoyce commented 3 years ago

你使用的命令行发一下

VisualJoyce commented 3 years ago

配置文件也发一下

starry-y commented 3 years ago

我重新下载了您的仓库 目前已达到80 抱歉耽误您的时间了 感谢您的答复

VisualJoyce commented 3 years ago

那就好,哈哈