search

OpenBMB / VisCPM

[ICLR'24 spotlight] Chinese and English Multimodal Large Model Series (Chat and Paint) | 基于CPM基础模型的中英双语多模态大模型系列
1.06k stars 93 forks source link

多卡推理部署VisCPM-Chat #39

Closed yan-muzhou closed 6 months ago

yan-muzhou commented 7 months ago

请问可以多卡部署吗？如果可以的话，具体怎么操作可以教教吗？一张3090显存不太够，对话稍微长一些就会爆显存，BMInf速度又太慢。

JamesHujy commented 6 months ago

您好，您可以尝试使用我们的最新模型MiniCPM-V，该模型只有2.8B，支持终端部署