search

ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

LoRA和ptv2微调均发生OOM #264

Open shenzhyzzz opened 1 year ago

shenzhyzzz commented 1 year ago

计算资源为A100 40G LoRA微调设置batch_size=1，max_seq_length=1024勉强能跑（每张卡占用显存40G） ptv2将batch_size和max_seq_length设置得再小都会出现OOM （例如batch_size=1, max_seq_length=16）

辛苦看下是否符合预期。

ssbuild commented 1 year ago

使用chatglm-6b-int4 进行ptv2呢 ？

shenzhyzzz commented 1 year ago

这还没试过，不过还是想尽量跑个非量化版本的。我看官方的ptv2是能正常运行的（batch_size=4， max_seq_length=256），不过他们的问题是没法多卡跑，数据量多了就太慢了。你们是做了相应的改进吗？

ssbuild commented 1 year ago

这还没试过，不过还是想尽量跑个非量化版本的。我看官方的ptv2是能正常运行的（batch_size=4， max_seq_length=256），不过他们的问题是没法多卡跑，数据量多了就太慢了。你们是做了相应的改进吗？

你可以对应做个实验看看

shenzhyzzz commented 1 year ago

确实你这边的ptv2没法跑非量化版本的。你们是在A100 80G上调试的吗？大概需要占用多少显存？