search

OpenBMB / BMInf

Efficient Inference for Big Models
Apache License 2.0
572 stars 67 forks source link

BMInf支持 CPM-Bee/Live 模型吗? #64

Open HaishengLiang opened 1 year ago

HaishengLiang commented 1 year ago

想了解下 对Live模型的加载与体验

a710128 commented 1 year ago

BMInf支持CPM-Live系列模型。 例如在CPM-Ant+中使用BMInf可以参考 https://github.com/OpenBMB/CPM-Live/blob/cpm-ant-plus/cpm-live/text_generation.py#L30 由于目前CPM-Bee模型还没有发布，因此暂时还没有配套的例子。