OpenBMB / VisCPM

[ICLR'24 spotlight] Chinese and English Multimodal Large Model Series (Chat and Paint) | 基于CPM基础模型的中英双语多模态大模型系列
1.06k stars 93 forks source link

测试了下,有待加强,加油 | test diary #4

Closed XksA-me closed 1 year ago

XksA-me commented 1 year ago

test diary

服务器:矩池云 NVIDIA RTX A6000 48G显存、86G内存 运行环境:矩池云系统镜像Pytorch 1.13.1

预装:Ubuntu20.04, Python 3.8, Pytorch 1.13.1, CUDA 11.6, cuDNN 8, NVCC, VNC

使用模型:viscpm_chat_zhplus_checkpoint.pt

模型加载内存占用需要66G左右(忘记截图了)

推理显存使用情况: image

推理内存使用情况: image

官方案例推理情况: image

随便给个图推理情况: image

加油⛽️

yaoyuanTHU commented 1 year ago

感谢关注和使用!VisCPM还有很大的提升空间,我们也在对VisCPM进行进一步的升级研发,欢迎持续关注。希望能和开源社区共同努力,一起做出最好的多模态大模型。