search

ymcui / Chinese-ELECTRA

Pre-trained Chinese ELECTRA（中文ELECTRA预训练模型）
http://electra.hfl-rc.com
Apache License 2.0
1.4k stars 171 forks source link

预训练数据量 #41

Closed frostjsy closed 4 years ago

frostjsy commented 4 years ago

大神，我想问下，electra-small, electra-large预训练的训练数据大概是多少？

ymcui commented 4 years ago

你好，纯文本数据大约10G。 与https://github.com/ymcui/Chinese-BERT-wwm目录中的-ext类型模型使用的数据是一致的。

ymcui commented 4 years ago

由于没有进一步讨论，本issue关闭。如有需要可随时reopen。