modelscope / modelscope-agent

ModelScope-Agent: An agent framework connecting models in ModelScope with the world
https://modelscope-agent.readthedocs.io/en/latest/
Apache License 2.0
2.58k stars 293 forks source link

ModelScopeGPT和modelscope-agent-7b是一个模型吗? #36

Open Mike4Ellis opened 11 months ago

Mike4Ellis commented 11 months ago

您好,我在本地测试基于modelscope-agent-7b作为大脑的Agent时,其效果与魔搭创空间上ModelScopeGPT的在线测试差距明显。

比如本地测试时模型并不能处理“写一个20字以内的故事,再念出来”这样需要多步调用工具的单句请求,只有多次请求才能实现;而ModelScopeGPT却可以执行得很好,同时速度也要快很多。

请问ModelScopeGPT所基于的LLM是什么呢?和modelscope-agent-7b同样是在Qwen-7B基础上微调的吗?

如果尚不能透露具体信息,也想了解一下底座模型以及参数规模是什么,期待您的回复!

lcl6679292 commented 11 months ago

您好,我在本地测试基于modelscope-agent-7b作为大脑的Agent时,其效果与魔搭创空间上ModelScopeGPT的在线测试差距明显。

比如本地测试时模型并不能处理“写一个20字以内的故事,再念出来”这样需要多步调用工具的单句请求,只有多次请求才能实现;而ModelScopeGPT却可以执行得很好,同时速度也要快很多。

请问ModelScopeGPT所基于的LLM是什么呢?和modelscope-agent-7b同样是在Qwen-7B基础上微调的吗?

如果尚不能透露具体信息,也想了解一下底座模型以及参数规模是什么,期待您的回复!

ModelScopeGPT是基于一个更大规模的底座,目前的modelscope-agent-7b训练时候用的MSAgent-Bench数据集,这个数据集包含了很多通用的工具指令调用。我们预计下周会开放一个modelscope-agent-7b只在魔搭GPT相关的模型工具调用数据集上训练的版本,这样在魔搭相关模型调用上准确率会更高

MSAgent-Bench:https://modelscope.cn/datasets/damo/MSAgent-Bench/summary

Mike4Ellis commented 11 months ago

您好,我在本地测试基于modelscope-agent-7b作为大脑的Agent时,其效果与魔搭创空间上ModelScopeGPT的在线测试差距明显。 比如本地测试时模型并不能处理“写一个20字以内的故事,再念出来”这样需要多步调用工具的单句请求,只有多次请求才能实现;而ModelScopeGPT却可以执行得很好,同时速度也要快很多。 请问ModelScopeGPT所基于的LLM是什么呢?和modelscope-agent-7b同样是在Qwen-7B基础上微调的吗? 如果尚不能透露具体信息,也想了解一下底座模型以及参数规模是什么,期待您的回复!

ModelScopeGPT是基于一个更大规模的底座,目前的modelscope-agent-7b训练时候用的MSAgent-Bench数据集,这个数据集包含了很多通用的工具指令调用。我们预计下周会开放一个modelscope-agent-7b只在魔搭GPT相关的模型工具调用数据集上训练的版本,这样在魔搭相关模型调用上准确率会更高

MSAgent-Bench:https://modelscope.cn/datasets/damo/MSAgent-Bench/summary

感谢您的回复,我理解了,期待最新开发的版本~

还有一个问题是,我尝试在Swift框架的基础上微调一个Agent模型,阅读源码之后我理解模型的输入为完整的文本内容包括(system、user、assistant),而label为所有assistant内容,这是为什么呢?

输入里为什么依旧存在assistant的内容?如果我去掉这一部分会有什么影响吗?希望能够得到解答!谢谢!

Mike4Ellis commented 11 months ago

还有就是Agent模型的微调可以直接用其他框架的SFT脚本吗?还是说在优化任务上是有区别的?

zzhangpurdue commented 6 months ago

目前我们在做agent模型的训练,以及测评链路,后续会有文档以及教程,可以关注。到时候会发送到这里。