Closed MrInouye closed 1 year ago
可以试试,target_modules=["query_key_value", "dense", "dense_h_to_4h", "dense_4h_to_h"]
可以试试,target_modules=["query_key_value", "dense", "dense_h_to_4h", "dense_4h_to_h"] 你好下面是我的requirements.txtL
# int8 bitsandbytes==0.37.1 accelerate==0.17.1
protobuf>=3.19.5,<3.20.1 transformers==4.27.1 icetk cpm_kernels==1.0.11 torch>=1.13.1
# datasets==2.10.1 git+https://ghproxy.com/https://github.com/huggingface/peft.git # 最新版本 >=0.3.0.dev0
主要就是peft
这个包有问题,我是这样解决的:
提示我lora_config中缺少target_modules,是要加target_modules嘛,值应该是什么