search

arcee-ai / mergekit

Tools for merging pretrained large language models.
GNU Lesser General Public License v3.0
4.49k stars 392 forks source link

mergekit-moe支持qwen吗？ #379

Open hoooooli opened 1 month ago

hoooooli commented 1 month ago

1721889849832 mergekit-moe支持qwen系列的模型吗，我想把两个基于lora微调并合并后的qwen模型与没有微调的qwen合并为moe模型，但是我尝试了qwen、qwen1.5和qwen2三个版本，都得到图片的结果。 到底是否支持qwen呢？支持哪个版本呢？

hoooooli commented 1 month ago

这是我合并权重的代码 1721892386457 1721892480497 这是我合并模型的代码 1721892487418