Open pan365wang opened 1 year ago
target_modules 各参数是什么意思,如何选择参数进行针对性的微调? 如: "target_modules": [ "q_proj", "v_proj", "k_proj", "o_proj", "down_proj", "gate_proj", "up_proj" ], 又如: "target_modules": [ "q_proj", "v_proj" ],
大神帮忙解释下。
求助
如果你不了解lora的话你可以不用管,不用调这些东西。如果你想多训练点参数就用上面的,少训练点就用下面的
target_modules 各参数是什么意思,如何选择参数进行针对性的微调? 如: "target_modules": [ "q_proj", "v_proj", "k_proj", "o_proj", "down_proj", "gate_proj", "up_proj" ], 又如: "target_modules": [ "q_proj", "v_proj" ],
大神帮忙解释下。