[llm]本地LLM选择

[douyh]

Initial Checks

• [X] I have searched Google & GitHub for similar requests and couldn't find anything
• [X] I have read and followed the docs & demos and still think this feature is missing

Description

感谢几位大佬一直维护repo。之前我使用Qwen1.5-7B-Chat在本地部署，自己搭建了一个小demo，但是明显感觉相比qwen-max和gpt3.5这种商业模型差比较多。当然这个计算量上的差距是不可忽视的。这里有一个小问题，我看到论文中提到了你们有用不同的LLM在你们的 MSAgent-Bench数据集上训练过。所以想请教一下，如果在一些外网不可用的状态下，最推荐使用哪一个可部署的模型，是否有经过MSAgent-Bench数据集finetune之后的模型在modelscope上下载呢？

Use case

No response

[zzhangpurdue]

我们这两天也在做相关的小模型训练工作，月底会有完整的文档放出来，你可以先去魔搭官方微信公众号看3.18号的一篇文章，介绍如何在小模型上finetune一个agent

[zzhangpurdue]

https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/Modelscope-Agent%3A%20AgentFabric%E5%BE%AE%E8%B0%83%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md 这篇文章

[douyh]

https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/Modelscope-Agent%3A%20AgentFabric%E5%BE%AE%E8%B0%83%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md 这篇文章

感谢，讲的非常详细，请问一下有微调之后的7B 模型吗，想体验一下。

[zzhangpurdue]

https://github.com/modelscope/modelscope-classroom/blob/main/LLM-tutorial/Modelscope-Agent%3A%20AgentFabric%E5%BE%AE%E8%B0%83%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md 这篇文章

感谢，讲的非常详细，请问一下有微调之后的7B 模型吗，想体验一下。

暂时没有发布出来的，自己在modelscope notebook 训起来很快的，而且有免费额度。