mymusise / ChatGLM-Tuning

基于ChatGLM-6B + LoRA的Fintune方案
MIT License
3.72k stars 440 forks source link

bug: _IncompatibleKeys(missing_keys:....................... #35

Open XuJianzhi opened 1 year ago

XuJianzhi commented 1 year ago

感谢作者大佬的伟大工作。 我在infer时遇到个bug,不知道是我哪一步操作有问题,请大佬们指正。

我用 https://github.com/mymusise/ChatGLM-Tuning/blob/master/finetune.py 训出lora,在 https://github.com/mymusise/ChatGLM-Tuning/blob/master/infer.ipynb 加载lora文件,出现提示如下 image 不知道是lora训练的问题,还是infer加载的有问题??

训练代码如下: CUDA_VISIBLE_DEVICES=2 python finetune.py \ --dataset_path data/need_demo \ --lora_rank 8 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 1 \ --max_steps 50000 \ --save_steps 10000 \ --save_total_limit 2 \ --learning_rate 2e-5 \ --fp16 \ --logging_steps 50 \ --output_dir output

infer代码如下: 1679385364624

mymusise commented 1 year ago

这个warning应该是正常的,因为只加载了lora部分,warning的应该都是原GLM的参数

XuJianzhi commented 1 year ago

这个warning应该是正常的,因为只加载了lora部分,warning的应该都是原GLM的参数

由于上面已经加载过原模型了。那也就是说,就应该都会出现这个warning才对。我理解对吧?

mymusise commented 1 year ago

这个warning应该是正常的,因为只加载了lora部分,warning的应该都是原GLM的参数

由于上面已经加载过原模型了。那也就是说,就应该都会出现这个warning才对。我理解对吧?