Open Just4Uzi opened 1 year ago
可否实现将两个模型(chatglm和text2vec)加载到不同的GPU上呢,我发现自己的GPU(12G显存,实际可用11G多点)运行时显存会溢出,想问下将两个模型加载到不同GPU上是否可以实现
可否实现将两个模型(chatglm和text2vec)加载到不同的GPU上呢,我发现自己的GPU(12G显存,实际可用11G多点)运行时显存会溢出,想问下将两个模型加载到不同GPU上是否可以实现