Open geolvr opened 2 years ago
在https://github.com/ZhuiyiTechnology/roformer/blob/main/train.py 看到预训练的例子。但只有MLM的实现，且是词粒度的。另一方面，在本repo中指明了预训练只支持Roberta和GPT方式。而在models.py中看到RoFormer的实现是基于NEZHA的，NEZHA又继承了BERT。比较迷惑现有的实现究竟是否支持RoFormer预训练。 具体而言，如果想在自己的数据上，做字粒度（比如从chinese_roformer-char_L-12_H-768_A-12开始，或从头开始）预训练，能否实现呢？
https://github.com/ZhuiyiTechnology/roformer/blob/main/train.py
xv44586
commented
2 years ago xv44586
commented
2 years ago
自我尝试
在https://github.com/ZhuiyiTechnology/roformer/blob/main/train.py 看到预训练的例子。但只有MLM的实现，且是词粒度的。另一方面，在本repo中指明了预训练只支持Roberta和GPT方式。而在models.py中看到RoFormer的实现是基于NEZHA的，NEZHA又继承了BERT。比较迷惑现有的实现究竟是否支持RoFormer预训练。 具体而言，如果想在自己的数据上，做字粒度（比如从chinese_roformer-char_L-12_H-768_A-12开始，或从头开始）预训练，能否实现呢？