mergekit-moe支持qwen吗？

arcee-ai / mergekit

Tools for merging pretrained large language models.

GNU Lesser General Public License v3.0

4.82k stars 439 forks source link

Open hoooooli opened 3 months ago

hoooooli commented 3 months ago

1721889849832 mergekit-moe支持qwen系列的模型吗，我想把两个基于lora微调并合并后的qwen模型与没有微调的qwen合并为moe模型，但是我尝试了qwen、qwen1.5和qwen2三个版本，都得到图片的结果。到底是否支持qwen呢？支持哪个版本呢？

hoooooli commented 3 months ago

这是我合并权重的代码 1721892386457 1721892480497 这是我合并模型的代码 1721892487418

lijinfeng0713 commented 1 month ago

hi，请教一下，你的问题解决了吗

hoooooli commented 1 month ago

解决了，支持的

---原始邮件--- 发件人: "Jinfeng @.> 发送时间: 2024年10月9日(周三) 下午3:15 收件人: @.>; 抄送: @.**@.>; 主题: Re: [arcee-ai/mergekit] mergekit-moe支持qwen吗？ (Issue #379)

hi，请教一下，你的问题解决了吗

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>