推理报错CUDA:oom & 添加参数--use-bminf --memory-limit 10执行后，报错缺少参数

OpenBMB / CPM-Bee

百亿参数的中英文双语基座大模型

2.69k stars 214 forks source link

Open Szt-1 opened 1 year ago

Szt-1 commented 1 year ago

模型:2b的压缩模型内存16G 显卡：v100 16G 部署后，运行python text_generation.py报错 CUDA：OOM 增加参数--use-bminf --memory-limit 10后执行，报错缺少参数对bminf的版本是否有要求？具体要求什么版本？