Closed yan-muzhou closed 6 months ago
请问可以多卡部署吗?如果可以的话,具体怎么操作可以教教吗?一张3090显存不太够,对话稍微长一些就会爆显存,BMInf速度又太慢。
您好,您可以尝试使用我们的最新模型MiniCPM-V,该模型只有2.8B,支持终端部署
请问可以多卡部署吗?如果可以的话,具体怎么操作可以教教吗?一张3090显存不太够,对话稍微长一些就会爆显存,BMInf速度又太慢。