search

Langboat / Mengzi

Mengzi Pretrained Models
Apache License 2.0
534 stars 63 forks source link

推理速度 #28

Open ZTurboX opened 2 years ago

ZTurboX commented 2 years ago

请问和其他模型比，Mengzi的推理速度怎么样

Ag2S1 commented 2 years ago

推理速度和标准 BERT 一样，这方面请参考其它开源项目

stevewyl commented 2 years ago

那感觉并没有达成轻量化的目标啊，只是模型参数以FP16精度保存，模型大小变小了

Ag2S1 commented 2 years ago

这次开源的模型是为了方便和其它开源模型对比，我们特意选择了 base 级别的参数量，以体现我们在模型训练上的改进。内部我们还有更多不同规模的模型用于商业项目，未来会考虑择期公布。