liushulinle / PLOME

Source code for the paper "PLOME: Pre-training with Misspelled Knowledge for Chinese Spelling Correction" in ACL2021
Apache License 2.0
230 stars 31 forks source link

关于cbert的使用 #20

Open gaonull opened 2 years ago

gaonull commented 2 years ago

作者您好,请问我在使用cbert的过程中模型结构除了下层的bert在上层做检错任务时需要的分类器有什么特殊要求嘛,为什么在我训练的过程中效果不是很理想呢?

liushulinle commented 2 years ago

我们发布的模型参数名前面套了一层bert前缀,请确认是否成功加载模型。

gaonull commented 2 years ago

嗯嗯,好滴,谢谢哈

发自我的iPad

------------------ 原始邮件 ------------------ 发件人: Shulin Liu @.> 发送时间: 2022年4月29日 23:07 收件人: liushulinle/PLOME @.> 抄送: gaonull @.>, Author @.> 主题: 回复:[liushulinle/PLOME] 关于cbert的使用 (Issue #20)

我们发布的模型参数名前面套了一层bert前缀,请确认是否成功加载模型。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

gaonull commented 2 years ago

是这样的,我把cbert的模型用BertForTokenClassification加载完成后进行检错任务的训练,但F1值始终只有百分之十几左右,是因为我们模型有问题嘛