Open iFe1er opened 9 months ago
同遇到这个bug:RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:2 and cuda:3! 请问后来解决了吗
change
model = AutoPeftModelForCausalLM.from_pretrained(
path to the output directory,
device_map="auto",
trust_remote_code=True
).eval()
to
model = AutoPeftModelForCausalLM.from_pretrained(
path to the output directory,
device_map="cuda",
trust_remote_code=True
).eval()
请问解决了吗
请问解决了吗
可以只用三张卡试试,我使用 4 张12G 的推理也会报这个错,当我指定只使用其中三张卡时可以正常推理
@Etpoem 代码共享一下呢,搞了一天了,搞不定
@Etpoem 代码共享一下呢,搞了一天了,搞不定
你使用的是什么类型的卡?几张? 我就是单纯设定只跑在三张12G显存的卡上,没有修改任何代码
@Etpoem 代码共享一下呢,搞了一天了,搞不定
你使用的是什么类型的卡?几张? 我就是单纯设定只跑在三张12G显存的卡上,没有修改任何代码
请问你是 model = AutoPeftModelForCausalLM.from_pretrained( path to the output directory, device_map="cuda", trust_remote_code=True ).eval()
吗
是否已有关于该错误的issue或讨论? | Is there an existing issue / discussion for this?
该问题是否在FAQ中有解答? | Is there an existing answer for this in FAQ?
当前行为 | Current Behavior
我使用4张Tesla T4 显卡参考官方demo进行推理,由于单卡只有16G显存,因此需要进行多卡推理,但是报错:
报错信息:
RuntimeError Traceback (most recent call last)