A code comment error in 微调使用自己数据集成功方案.ipynb ?

[zsj9509]

There is a comment about "修改train_util.py的超参数" in 微调使用自己数据集成功方案.ipynb. Should it be modified to"修改data_utils.py的超参数" according to this repository chatglm_finetuning

[Stupid-Ai]

您好请问您使用了多大的显存？我使用80G都跑不了正常config的参数

[Anhen214]

我也是显存不够,44G也不够,楼主的30多G是怎么跑通的呀,我这跑了一部分数据后就会爆显存,求解答

[Stupid-Ai]

max_seq_length设置小一点应该可以，我是因为设置的2048。lora的r设置的1.然后使用config.json的参数这样跑80G显存一个epoch半都没跑完就爆了。修改config.json里的num_layers的话效果不好，我设置16跑的话需要60G显存但是效果特别差，13个epoch loss只能降到0.25左右并且效果奇差。现在已经不想直接微调了，看看能不能使用增量学习来微调

[zsj9509]

精调用的8张A100，每张40G显存，但一张估计也能跑，max_seq_length设的2048，lora秩设的32，精调还是有点效果的，将给的数据的回答融进去了，感觉lora的秩不能设的太小，尤其再用开放域的问答调