PPO训练时不能使用QLoRA吗？

[hzho2000]

PPO训练时不能使用QLoRA吗？

[hiyouga]

可以使用。

[hzho2000]

大佬您好，这是我在弄ppo训练时的参数。 不进行QLoRA可以正常使用，但是在我加了--quantization_bit 8这一行后就会报错： ValueError: Quantized model cannot create new LoRA weight. Merge them first.

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \ --stage ppo \ --model_name_or_path C:\model\chatglm2-6b-32k \ --do_train \ --dataset trainset \ --template chatglm2 \ --finetuning_type lora \ --lora_target query_key_value \ --resume_lora_training False \ --checkpoint_dir result/medical-lora-v1 \ --reward_model result/medical-rm-v1 \ --output_dir result/medical-ppo-v1 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 2 \ --cutoff_len 2048 \ --max_new_tokens 2048 \ --lr_scheduler_type cosine \ --logging_steps 10 \ --save_steps 1000 \ --learning_rate 1e-5 \ --num_train_epochs 1.0 \ --fp16 \ --plot_loss

[hiyouga]

先使用 export_model.py 把 checkpoint_dir 合并进去，然后使用新的 --model_name_or_path

[hzho2000]

你好。出现这个报错是不是意味着rm阶段和ppo阶段都得使用相同的量化等级，例如不能在训练rm时没有使用QLoRA，然后训练PPO时使用。

然后我再想扩展咨询一下就是，使用QLoRA进行sft生成的weight，能和原本的没有量化的模型合并吗？

RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.

[hiyouga]

1. PPO 仅支持 6B 模型，不支持 32k 模型
2. 可以

[Wolverhampton0]

1. PPO 仅支持 6B 模型，不支持 32k 模型
2. 可以

请问 为什么之前版本做ppo训练＋qlora时不用合并，为什么多了这个合并操作，是之前的方式有什么问题吗？

[Wolverhampton0]

而且这个合并的处理，和在训练或推理时直接加载lora的权重会有区别吗?

[lindsey-chang]

而且这个合并的处理，和在训练或推理时直接加载lora的权重会有区别吗?

请问这个问题现在有解答吗？

[hiyouga]

没有区别