请问训练大概需要什么性能的GPU

Ucas-HaoranWei / Vary-toy

Official code implementation of Vary-toy (Small Language Model Meets with Reinforced Vision Vocabulary)

565 stars 41 forks source link

Open xaswq opened 5 months ago

xaswq commented 5 months ago

是否需要A100呢？

Ucas-HaoranWei commented 5 months ago

用不到A100, 我用过L40训练，但是我没有3090无法测试，但是感觉24G调整下setting是可以训练的

sixgod-666 commented 3 months ago

您好，请问怎样调整setting可以做到24G左右，我是V100 32G,在第二阶段的训练中，调整训练参数一直显存溢出，咨询一下还有哪些方法，谢谢

用不到A100, 我用过L40训练，但是我没有3090无法测试，但是感觉24G调整下setting是可以训练的

Ucas-HaoranWei commented 3 months ago

你得把max length 调小点？

sixgod-666 commented 3 months ago

你得把max length 调小点？

尝试过了调小至64都不行，所有的batch_size也调成了1，两个vision_tower也冻结了，还有其他的角度可以缩减显存吗，希望能给我提供一些思路谢谢

Ucas-HaoranWei commented 3 months ago

请问你用了几张卡，用deepspeed了吗，还是直接train的，直接train的话一张卡模型放不下

sixgod-666 commented 3 months ago

是deepspeed 一张卡这是我的参数您看一下 IMG_20240319_170117

Ucas-HaoranWei commented 3 months ago

一张卡deepspeed没法切模型，导致超显存，一张卡跑不起来...

sixgod-666 commented 3 months ago

所以至少需要两张卡才可以是吗，单卡的话有解决方案吗，感谢感谢

qin-yuhao commented 2 weeks ago

所以至少需要两张卡才可以是吗，单卡的话有解决方案吗，感谢感谢

同问