Open Yang-Changhui opened 1 month ago
参数融合过程中需要将参数将在内存上进行融合,可以打开 unified checkpoint然后来避免参数融合
好的,还有一个问题,使用最新的paddlenlp3.0,相同的配置,进行模型微调时,训练一会报错,使用paddlenlp2.8不会报错: OSError: (External) OSError: (External) CUBLAS error(14). [Hint: 'CUBLAS_STATUS_INTERNAL_ERROR'. An internal cuBLAS operation failed. This error is usually caused by a cudaMemcpyAsync() failure. To correct: check that the hardware, an appropriate version of the driver, and the cuBLAS library are correctly installed. Also, check that the memory passed as a parameter to the routine is not being deallocated prior to the routine’s completion. ] (at /paddle/paddle/phi/kernels/funcs/blas/blas_impl.cu.h:1753)
训练时显存OOM了吗?
使用ai studio自带的监视器查看,并没有,连一半都没有
参数融合过程中需要将参数将在内存上进行融合,可以打开 unified checkpoint然后来避免参数融合
好像只有训练时候才能使用,打开 unified checkpoint是不是就不用合入了,而且paddlenlp2.8.0版本中配置文件中没有这个参数
参数融合过程中需要将参数将在内存上进行融合,可以打开 unified checkpoint然后来避免参数融合
好像只有训练时候才能使用,打开 unified checkpoint是不是就不用合入了,而且paddlenlp2.8.0版本中配置文件中没有这个参数
2.8版本可以支持unified checkpoint
使用ai studio自带的监视器查看,并没有,连一半都没有
安装的paddle的cuda版本是否满足需要了?
使用ai studio自带的监视器查看,并没有,连一半都没有
安装的paddle的cuda版本是否满足需要了? 是的,使用的paddlepaddle-gpu==0.0.0.post118
参数融合过程中需要将参数将在内存上进行融合,可以打开 unified checkpoint然后来避免参数融合
好像只有训练时候才能使用,打开 unified checkpoint是不是就不用合入了,而且paddlenlp2.8.0版本中配置文件中没有这个参数
2.8版本可以支持unified checkpoint 在2.8中,微调lora命令为:python finetune_generation.py ./chatglm2/lora_argument.json,要使用unified checkpoint 需要python run_pretrain.py ./chatglm2/lora_argument.json --unified_checkpoint 1 ,这两种训练方式好像不同吧,
软件环境
重复问题
错误描述
稳定复现步骤 & 代码
模型微调
python finetune_generation.py chatglm2/lora_argument.json
配置文件修改
{ "dataset_name_or_path": "/home/aistudio/dataset", "per_device_train_batch_size": 1, "zero_padding": true, "use_flash_attention": true, "weight_quantize_algo": "nf4" }
模型合并
python merge_lora_params.py \ --lora_path ./checkpoints/chatglm2_lora_ckpts/checkpoint-204 \ --merge_lora_model_path ./checkpoints/chatglm2_lora_merge \ --device "gpu" \ --low_gpu_mem True
合并出错:![无标题](https://github.com/PaddlePaddle/PaddleNLP/assets/71805205/5aa64b6e-27f5-4195-9de2-013a174948e4)