search

ymcui / Chinese-ELECTRA

Pre-trained Chinese ELECTRA（中文ELECTRA预训练模型）
http://electra.hfl-rc.com
Apache License 2.0
1.4k stars 171 forks source link

模型加载兼容问题 #39

Closed frostjsy closed 4 years ago

frostjsy commented 4 years ago

我感觉electra的modeling即是bert的modeling,预训练的优化在于优化目标；我想问下electra的run_finetuning.py能不能直接加载bert,bert-wwm，robertra等等的模型；目前加载似乎不太合适，主要修改那个代码块？

ymcui commented 4 years ago

没有试过。 原则上是要修改modeling.py以及run_finetuning.py中对应接口。虽然https://github.com/ymcui/Chinese-ELECTRA/blob/master/model/modeling.py#L114 提及ELECTRA中的BERT是和原版一致的，但scope什么的还是不太一样的，直接加载非ELECTRA模型应该是不太行的。如果你想要做一套通用的代码，建议你在调用不同模型时载入各个预训练模型自己的class。

frostjsy commented 4 years ago

谢谢您的解答，我感觉electra封装的挺好的，这个版本的评估啥的都很完善，要是能把其他的也集成，应该是一项很有意义的事情。

ymcui commented 4 years ago

由于没有进一步讨论，本issue关闭。如有需要可随时reopen。