search

yule-BUAA / MergeLM

Codebase for Merging Language Models (ICML 2024)
764 stars 44 forks source link

模型支持 #22

Closed clclclaiggg closed 7 months ago

clclclaiggg commented 7 months ago

您好，请问您的方法支持哪些模型呢，例如qwen或者[Mistral]吗

yule-BUAA commented 7 months ago

你好， 我们提出的方法可以应用于 Llama, Mistral, Qwen等多类模型。不过，现在的仓库代码中仅支持Llama模型。 如果你想尝试更多的模型，可以参考mergekit工具库，该工具库集成了我们提出的方法，并且更加高效地对多类现有LLM进行了支持。

clclclaiggg commented 7 months ago

明白了，谢谢

cl15991441772

@. | ---- 回复的原邮件 ---- | 发件人 | Yu @.> | | 发送日期 | 2024年3月12日 17:16 | | 收件人 | @.> | | 抄送人 | long @.> , @.***> | | 主题 | Re: [yule-BUAA/MergeLM] 模型支持 (Issue #22) |

你好， 我们提出的方法可以应用于 Llama, Mistral, Qwen等多类模型。不过，现在的仓库代码中仅支持Llama模型。 如果你想尝试更多的模型，可以参考mergekit工具库，该工具库集成了我们提出的方法，并且更加高效地对多类现有LLM进行了支持。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>