Langboat / Mengzi

Mengzi Pretrained Models
Apache License 2.0
534 stars 63 forks source link

推理速度 #28

Open ZTurboX opened 2 years ago

ZTurboX commented 2 years ago

请问和其他模型比,Mengzi的推理速度怎么样

Ag2S1 commented 2 years ago

推理速度和标准 BERT 一样,这方面请参考其它开源项目

stevewyl commented 2 years ago

那感觉并没有达成轻量化的目标啊,只是模型参数以FP16精度保存,模型大小变小了

Ag2S1 commented 2 years ago

这次开源的模型是为了方便和其它开源模型对比,我们特意选择了 base 级别的参数量,以体现我们在模型训练上的改进。内部我们还有更多不同规模的模型用于商业项目,未来会考虑择期公布。