shuxueslpi / chatGLM-6B-QLoRA

使用peft库,对chatGLM-6B/chatGLM2-6B实现4bit的QLoRA高效微调,并做lora model和base model的merge及4bit的量化(quantize)。
356 stars 46 forks source link

训练结束后,数据展示出现问题 #32

Open HBdingdang opened 1 year ago

HBdingdang commented 1 year ago

使用chatglm训练后,train loss曲线和readme中差不多。 使用chatglm2训练后,就改了一下Lora_rank 为8,训练结束,train loss就一个点,eval loss正常 屏幕截图 2023-08-09 125212 log中的train loss也正常,就图表显示只有一个点,可能是什么原因呢? 屏幕截图 2023-08-09 130141