Open xxll88 opened 1 year ago
按args.md调了些参数都没用，无法启动quantization_bit 8/4 ,直接爆显存 args.md 中 ptuning v2 global_args = { "load_in_8bit": False, # lora 如果显卡支持int8 可以开启 ， 需安装依赖 pip install bitsandbytes "num_layers_freeze": -1, # 非lora,非p-tuning 模式 ， <= config.json num_layers "pre_seq_len": 32, #p-tuning-v2 参数 "prefix_projection": False, #p-tuning-v2 参数 "num_layers": -1, # 是否使用骨干网络的全部层数 最大1-28， -1 表示全层, 否则只用只用N层 }
"load_in_8bit" 改成 True，有用吗
https://github.com/ssbuild/chatglm_finetuning/blob/02665fa1380dc459631caa067976a7da8b1bec44/config/main.py#L10 https://github.com/ssbuild/chatglm_finetuning/blob/02665fa1380dc459631caa067976a7da8b1bec44/config/sft_config_ptv2.py#L8 按照需求，修改这几处即可
ssbuild
commented
1 year ago
按args.md调了些参数都没用，无法启动quantization_bit 8/4 ,直接爆显存 args.md 中 ptuning v2 global_args = { "load_in_8bit": False, # lora 如果显卡支持int8 可以开启 ， 需安装依赖 pip install bitsandbytes "num_layers_freeze": -1, # 非lora,非p-tuning 模式 ， <= config.json num_layers "pre_seq_len": 32, #p-tuning-v2 参数 "prefix_projection": False, #p-tuning-v2 参数 "num_layers": -1, # 是否使用骨干网络的全部层数 最大1-28， -1 表示全层, 否则只用只用N层 }