ValueError: Target modules ['c_attn', 'attn.c_proj', 'w1', 'w2', 'mlp.c_proj'] not found in the base model. Please check the target modules and try again

[wuQi-666]

你好，请问该框架暂时不支持基座模型千文的微调吗，在尝试进行微调的时候出现如下的错误 具体的.bash命令文件内容如下所示： output_dir='lora/qwen1.5-14b-chat-v1' mkdir -p ${output_dir} CUDA_VISIBLE_DEVICES="0,1,2,3,4,5,6,7" torchrun --nproc_per_node=8 --master_port=1288 /chentao/wuqi/project/IEPile/src/finetune.py \ --do_train --do_eval \ --overwrite_output_dir \ --model_name_or_path '/chentao/wuqi/model/Qwen1.5-14B-Chat' \ --stage 'sft' \ --model_name 'qwen' \ --template 'qwen' \ --train_file '/chentao/wuqi/project/IEPile/data/IEPILE/train.json' \ --valid_file '/chentao/wuqi/project/IEPile/data/IEPILE/dev.json' \ --output_dir=${output_dir} \ --per_device_train_batch_size 2 \ --per_device_eval_batch_size 2 \ --gradient_accumulation_steps 4 \ --preprocessing_num_workers 16 \ --num_train_epochs 10 \ --learning_rate 5e-5 \ --max_grad_norm 0.5 \ --optim "adamw_torch" \ --max_source_length 400 \ --cutoff_len 700 \ --max_target_length 300 \ --evaluation_strategy "epoch" \ --save_strategy "epoch" \ --save_total_limit 10 \ --lora_r 16 \ --lora_alpha 32 \ --lora_dropout 0.05 \ --bf16 \ --deepspeed configs/ds_config_bf16.json

[guihonghao]

你好，我们刚刚修改了这个问题。你可以通过设置--model_name 'qwen2' --template 'qwen' 微调千问大模型

[guihonghao]

此外，微调qwen大模型还需要修改以下环境

transformers==4.37.0
peft==0.9.0
pydantic==1.9.2

[wuQi-666]

好的，谢谢您的回复

[zxlzr]

请问您还有其他问题吗？

[wuQi-666]

谢谢，问题已经解决

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2024年05月01日 11:08 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [zjunlp/IEPile] ValueError: Target modules ['c_attn', 'attn.c_proj', 'w1', 'w2', 'mlp.c_proj'] not found in the base model. Please check the target modules and try again (Issue #10) |

请问您还有其他问题吗？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>