关于阿里糖尿病比赛的问题

yunsuxiaozi / AI-and-competition

这里用来存储做人工智能项目的代码和参加数据挖掘比赛的代码

71 stars 10 forks source link

Open littlewwwhite opened 7 months ago

littlewwwhite commented 7 months ago

老哥我想问下你用gemma来 all-linere lora微调用了多少显存，我用qwen1.5-7b和chatglm3-6b来调全都oom了，你那边有训练设备、时间相关的信息吗？感谢

hunshi34 commented 6 months ago

2b在4bit量化的情况下12GB就够，7b的话最大长度512的话16GB就够，不量化的话我也不知道

wyk777777 commented 4 months ago

我仅将模型从gemma2b修改为7b，使用80g显存的A100还是oom了？用的就是作者的代码也没有改动其他地方啊

hunshi34 commented 3 weeks ago

7b的模型你是怎么训练的？全参量的话一张A100肯定不够，如果是lora的话，4090都可以，不过要注意一下batchsize