ymcui / Chinese-ELECTRA

Pre-trained Chinese ELECTRA(中文ELECTRA预训练模型)
http://electra.hfl-rc.com
Apache License 2.0
1.4k stars 171 forks source link

在下游中文ner任务中, electra各个模型学习率应该设置多大? #60

Closed ghost closed 3 years ago

ymcui commented 3 years ago

并没有统一的值,需要在你的数据上自行调整。通常以默认值为基准向两边适当调整以寻求最佳学习率。 small/small-ex/base/large: 5e-4 / 5e-4 / 1e-4 / 5e-5