能不能用albert_chinese_pytorch代码做英文语料的预训练

lonePatient / albert_pytorch

A Lite Bert For Self-Supervised Learning Language Representations

Apache License 2.0

710 stars 152 forks source link

能不能用albert_chinese_pytorch代码做英文语料的预训练 #31

Closed shenlanyilang closed 4 years ago

shenlanyilang commented 4 years ago

非常感谢您的pytorch版本的实现，我用albert_chinese_pytorch下的代码及readme中的步骤加上自己的语料来做预训练，训练了40000个step, loss几乎没有下降，一直大致在[Training]:[0/4]43000/273367 - ETA: 3:12 loss: 7.6291 - mask_acc: 0.0564 - sop_acc: 0.4995 - mask_loss: 6.7157 - sop_loss: 0.9134，这样的水平。感觉有问题，请问用直接用albert_chinese_pytorch预训练英文语料是否合适呢

lonePatient commented 4 years ago

@shenlanyilang 训练英文的话，直接使用官方的吧，即google的https://github.com/google-research/google-research/tree/master/albert

我不知道我这版本是否适合英文，训练中文我这边显示我觉得时正常的。可以直接使用google提供的tf版本进行训练。

shenlanyilang commented 4 years ago

多谢