在預訓練的時候是否也有使用全詞遮蔽？

ymcui / Chinese-ELECTRA

Pre-trained Chinese ELECTRA（中文ELECTRA预训练模型）

http://electra.hfl-rc.com

Apache License 2.0

1.4k stars 171 forks source link

Closed qoo33456 closed 4 years ago

qoo33456 commented 4 years ago

之前bert-wwm可以改善原先bert預訓練mask單個字的問題，全詞遮蔽(wwm)可以使模型學到更多詞與詞的關係。目前這一個版本的electra在預訓練的時候是否也有使用全詞遮蔽(wwm)?

ymcui commented 4 years ago

这个版本不包含wwm相关改动。

qoo33456 commented 4 years ago

那後續會有加入wwm pretrain的計畫嗎？感覺有機會再更提升

ymcui commented 4 years ago

这个我暂时不能保证会有update。如果感兴趣的话可以自行尝试一下。