search

yanqiangmiffy / Chinese-LangChain

中文langchain项目|小必应，Q.Talk，强聊，QiangTalk
2.67k stars 323 forks source link

多GPU运行的问题 #6

Open Just4Uzi opened 1 year ago

Just4Uzi commented 1 year ago

可否实现将两个模型（chatglm和text2vec）加载到不同的GPU上呢，我发现自己的GPU（12G显存，实际可用11G多点）运行时显存会溢出，想问下将两个模型加载到不同GPU上是否可以实现