训练显存有些问题

shuxueslpi / chatGLM-6B-QLoRA

使用peft库，对chatGLM-6B/chatGLM2-6B实现4bit的QLoRA高效微调，并做lora model和base model的merge及4bit的量化（quantize）。

356 stars 46 forks source link

Open WellWang-S opened 1 year ago

WellWang-S commented 1 year ago

1.显存占用，同样的config和参数，我的20G，看author才9G多，batchsize是4吗 2.训练过程中，显存增加的原因是啥 3.内存占用上和其他微调方法没明显优势啊，p-tuning V2