search

autoliuweijie / FastBERT

The score code of FastBERT (ACL2020)
https://www.aclweb.org/anthology/2020.acl-main.537/
604 stars 90 forks source link

请问您是怎么做BERT研究的？TPU上吗？ #3

Closed guotong1988 closed 4 years ago

guotong1988 commented 4 years ago

多谢！多谢！ @autoliuweijie

autoliuweijie commented 4 years ago

多谢！多谢！ @autoliuweijie

不一定需要TPU，用GPU也可以，在做预训练方面，我们有8张P40和8张V100。

如果只在Fine-tune以后做研究，一张显存大于8G的GPU就足够，比如Nvidia 1080显卡。

hurricanedjp commented 4 years ago

@autoliuweijie 请问下readme里放出的Chinese_base_model.bin是你们自己预训练的么？如果是的话，请问下用的什么数据，训练多久呢，和huggingface的一些bert模型对比在下游各任务结果怎么样？ 如果不是的话，请问下用的哪里的模型，对应的模型结果是怎样呢

autoliuweijie commented 4 years ago

@autoliuweijie 请问下readme里放出的Chinese_base_model.bin是你们自己预训练的么？如果是的话，请问下用的什么数据，训练多久呢，和huggingface的一些bert模型对比在下游各任务结果怎么样？ 如果不是的话，请问下用的哪里的模型，对应的模型结果是怎样呢

Chinese_base_model.bin不是自己预训练的，是Google的预训练模型，然后转码成UER可用的格式

hurricanedjp commented 4 years ago

@autoliuweijie 请问下readme里放出的Chinese_base_model.bin是你们自己预训练的么？如果是的话，请问下用的什么数据，训练多久呢，和huggingface的一些bert模型对比在下游各任务结果怎么样？ 如果不是的话，请问下用的哪里的模型，对应的模型结果是怎样呢

Chinese_base_model.bin不是自己预训练的，是Google的预训练模型，然后转码成UER可用的格式

多谢解惑！我看文章里说还可以加载bert参数类似的模型roberta，ernie等，请问下你们后来有试么，对应的FastBert有提升么？