24G显存加载4bit量化模型出现加载不了的情况，如下图。

baichuan-inc / Baichuan2

A series of large language models developed by Baichuan Intelligent Technology

https://huggingface.co/baichuan-inc

Apache License 2.0

4.09k stars 295 forks source link

Open QJShan opened 1 year ago

QJShan commented 1 year ago

也没有报OOM的问题。

XiaoBin1992 commented 1 year ago

也没有报OOM的问题。 @QJShan 看样子是from_pretrained就已经被kill，可以注释掉第二行看看，top观察下内存占用情况同时想问下机器的内存有多少，显存有多少

Rashomon-Chinglo commented 1 year ago

你需要手动设置 device_map='cpu'

tmacsyf commented 1 year ago

老哥解决了么，我加载baichuan_7b_base模型被kill了，A100 40g显存，是不是因为显存不够啊