search

FederatedAI / FATE-LLM

Federated Learning for LLMs.
Apache License 2.0
150 stars 28 forks source link

FATE-LLM Qwen模型问题 #78

Closed zapjone closed 4 months ago

zapjone commented 5 months ago

各位大佬好，想请问下，fate中使用的哪个千问模型？我使用Qwen-7B和Qwen1.5-7B，都无法正常跑起来。使用ChatGLM3-6B是可以正常训练的。

zapjone commented 5 months ago

image hua换成QWen2模型后，会报这个错误。

mgqa34 commented 5 months ago

image hua换成QWen2模型后，会报这个错误。

这个报错是需要设置一下lora的target_modules，qwen的不是query_key_value，可以设置为q_proj, v_proj等。