search

chaoyi-wu / RadFM

The official code for "Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data".
315 stars 32 forks source link

GPU显存需求 #1

Open whisney opened 11 months ago

whisney commented 11 months ago

你好！我看论文中提到使用的NVIDIA A100 GPU（80GB）训练模型，每一个GPU上batchsiz为1，请问如果我希望使用自己的3D数据微调所提出的预训练的3D ViT，具体需要多少显存？所需要的显存是不是应该与输入图像的尺寸相关？ 我看论文提到的数据预处理是将输入的3D图像最大限制在了（64，256，256）的大小，如果就是（64，256，256）这个尺寸作为输入，需要占用多少显存？

chaoyi-wu commented 11 months ago

如果只是vision encoder的话显存要求不大，但具体需要多大我不太清楚，我们训练的时候都是带着LLM一起的，确实是和输入图片大小有关。

whisney commented 11 months ago

如果只是vision encoder的话显存要求不大，但具体需要多大我不太清楚，我们训练的时候都是带着LLM一起的，确实是和输入图片大小有关。

请问Model checkpoint中哪个文件保存的是vision encoder的权重？

chaoyi-wu commented 11 months ago

权重是整个model的，暂时没有单独的分包，我们之后会考虑分part上传

whisney commented 11 months ago

请问MyEmbedding函数中的"/gpfs/home/cs/leijiayu/wuchaoyi/multi_modal/src/MedKEBERT"在哪里下载？

chaoyi-wu commented 11 months ago

https://huggingface.co/xmcmic/Med-KEBERT/tree/main 这个repo，代码中已经修改为了huggingface pull model