search

chaoyi-wu / RadFM

The official code for "Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data".
315 stars 32 forks source link

模型推理相关问题 #18

Open julianadobetter opened 7 months ago

julianadobetter commented 7 months ago

背景：我的机器有多张GPU显卡，但是每张GPU显卡显存只有16G，目前运行test.py进行模型推理尝试，提示显存不够。 问题1: 该RadFM模型推理所需的GPU显存需要至少多大？例如 N GB 问题2:如果单张GPU显存没有达到N GB，那是否有其他的方案使得能运行模型推理，例如DeepSpeed？能否给具体的方案说明？

aTongs1 commented 3 weeks ago

背景：我的机器有多张GPU显卡，但是每张GPU显卡显存只有16G，目前运行test.py进行模型推理尝试，提示显存不够。 问题1: 该RadFM模型推理所需的GPU显存需要至少多大？例如 N GB 问题2:如果单张GPU显存没有达到N GB，那是否有其他的方案使得能运行模型推理，例如DeepSpeed？能否给具体的方案说明？

Hello, I'm experiencing the same problem, i.e. the model won't run on more than one GPU, and would like to ask you if you solved it and how to solve it, thanks!