Open XuJianzhi opened 1 year ago
这个warning应该是正常的,因为只加载了lora部分,warning的应该都是原GLM的参数
这个warning应该是正常的,因为只加载了lora部分,warning的应该都是原GLM的参数
由于上面已经加载过原模型了。那也就是说,就应该都会出现这个warning才对。我理解对吧?
这个warning应该是正常的,因为只加载了lora部分,warning的应该都是原GLM的参数
由于上面已经加载过原模型了。那也就是说,就应该都会出现这个warning才对。我理解对吧?
对
感谢作者大佬的伟大工作。 我在infer时遇到个bug,不知道是我哪一步操作有问题,请大佬们指正。
我用 https://github.com/mymusise/ChatGLM-Tuning/blob/master/finetune.py 训出lora,在 https://github.com/mymusise/ChatGLM-Tuning/blob/master/infer.ipynb 加载lora文件,出现提示如下
不知道是lora训练的问题,还是infer加载的有问题??
训练代码如下: CUDA_VISIBLE_DEVICES=2 python finetune.py \ --dataset_path data/need_demo \ --lora_rank 8 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 1 \ --max_steps 50000 \ --save_steps 10000 \ --save_total_limit 2 \ --learning_rate 2e-5 \ --fp16 \ --logging_steps 50 \ --output_dir output
infer代码如下:![1679385364624](https://user-images.githubusercontent.com/30584453/226546551-82d0e11f-3915-4d46-bbc9-39d73c510d78.png)