lora_target 的可用值有哪些？

hiyouga / ChatGLM-Efficient-Tuning

Fine-tuning ChatGLM-6B with PEFT | 基于 PEFT 的高效 ChatGLM 微调

Apache License 2.0

3.66k stars 471 forks source link

Closed godcrying closed 1 year ago

godcrying commented 1 year ago

看代码lora_target默认微调query_key_value，请问是只能选择self_attention下面的dense和query_key_value吗？word_embeddings和mlp是否可以使用lora_target指定？可以提供一个可用值列表吗？

hiyouga commented 1 year ago

query_key_value, self_attention.dense, mlp.dense

godcrying commented 1 year ago

感谢