Closed XksA-me closed 1 year ago
服务器:矩池云 NVIDIA RTX A6000 48G显存、86G内存 运行环境:矩池云系统镜像Pytorch 1.13.1
Pytorch 1.13.1
预装:Ubuntu20.04, Python 3.8, Pytorch 1.13.1, CUDA 11.6, cuDNN 8, NVCC, VNC
使用模型:viscpm_chat_zhplus_checkpoint.pt
模型加载内存占用需要66G左右(忘记截图了)
推理显存使用情况:
推理内存使用情况:
官方案例推理情况:
随便给个图推理情况:
加油⛽️
感谢关注和使用!VisCPM还有很大的提升空间,我们也在对VisCPM进行进一步的升级研发,欢迎持续关注。希望能和开源社区共同努力,一起做出最好的多模态大模型。
test diary
服务器:矩池云 NVIDIA RTX A6000 48G显存、86G内存 运行环境:矩池云系统镜像
Pytorch 1.13.1
使用模型:viscpm_chat_zhplus_checkpoint.pt
模型加载内存占用需要66G左右(忘记截图了)
推理显存使用情况:![image](https://github.com/OpenBMB/VisCPM/assets/43670614/222d94a1-0ed0-4e6f-9897-cae46f777461)
推理内存使用情况:![image](https://github.com/OpenBMB/VisCPM/assets/43670614/cefac17d-af4e-4471-b7e2-bf2e42e60af1)
官方案例推理情况:![image](https://github.com/OpenBMB/VisCPM/assets/43670614/07fe84f9-f38a-41b2-8352-61acbabb9fd3)
随便给个图推理情况:![image](https://github.com/OpenBMB/VisCPM/assets/43670614/03079007-c447-4dd0-b941-4505bab255f7)
加油⛽️