search

yanqiangmiffy / Chinese-LangChain

中文langchain项目|小必应，Q.Talk，强聊，QiangTalk
2.67k stars 323 forks source link

双卡怎么推理呢，使用知识库推理就会报显存溢出，但是我只有一张卡在使用 #25

Open sweetboxwwy opened 1 year ago

joisonwk commented 1 year ago

同问，我现在的显卡内存只有8G，想通过加一张来跑这个模型。我看diffusion里可以用accelerate实现分布式，这个有没有类似的？

yuxuan2015 commented 1 year ago

@joisonwk @sweetboxwwy 可以参考这个https://github.com/THUDM/ChatGLM-6B/tree/main的多卡推理 image

joisonwk commented 1 year ago

@joisonwk @sweetboxwwy 可以参考这个https://github.com/THUDM/ChatGLM-6B/tree/main的多卡推理 image

好的 谢谢 我试试