search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.81k stars 351 forks source link

bloom 也是 casulmModel 体系下的，是否可以用cpu加速推理 #133

Closed xx-zhang closed 1 year ago

xx-zhang commented 1 year ago

bloom 也是 casulmModel 体系下的，是否可以用cpu加速推理； 就是用avx2, avx512的指令加速推理。我看有个bloom.cpp 但是速度没有lamma.cpp那个快（同样 7b int8) . 这个是什么原因？

yuanzhoulvpi2017 commented 1 year ago

在cpu上推理，这个还真没研究过～