search

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 425 forks source link

target_modules 各参数是什么意思，如何选择参数进行针对性的微调？ #216

Open pan365wang opened 1 year ago

pan365wang commented 1 year ago

target_modules 各参数是什么意思，如何选择参数进行针对性的微调？ 如： "target_modules": [ "q_proj", "v_proj", "k_proj", "o_proj", "down_proj", "gate_proj", "up_proj" ], 又如： "target_modules": [ "q_proj", "v_proj" ],

大神帮忙解释下。

pan365wang commented 1 year ago

求助

Facico commented 1 year ago

如果你不了解lora的话你可以不用管，不用调这些东西。如果你想多训练点参数就用上面的，少训练点就用下面的