Open Mike4Ellis opened 11 months ago
您好,我在本地测试基于modelscope-agent-7b作为大脑的Agent时,其效果与魔搭创空间上ModelScopeGPT的在线测试差距明显。
比如本地测试时模型并不能处理“写一个20字以内的故事,再念出来”这样需要多步调用工具的单句请求,只有多次请求才能实现;而ModelScopeGPT却可以执行得很好,同时速度也要快很多。
请问ModelScopeGPT所基于的LLM是什么呢?和modelscope-agent-7b同样是在Qwen-7B基础上微调的吗?
如果尚不能透露具体信息,也想了解一下底座模型以及参数规模是什么,期待您的回复!
ModelScopeGPT是基于一个更大规模的底座,目前的modelscope-agent-7b训练时候用的MSAgent-Bench数据集,这个数据集包含了很多通用的工具指令调用。我们预计下周会开放一个modelscope-agent-7b只在魔搭GPT相关的模型工具调用数据集上训练的版本,这样在魔搭相关模型调用上准确率会更高
MSAgent-Bench:https://modelscope.cn/datasets/damo/MSAgent-Bench/summary
您好,我在本地测试基于modelscope-agent-7b作为大脑的Agent时,其效果与魔搭创空间上ModelScopeGPT的在线测试差距明显。 比如本地测试时模型并不能处理“写一个20字以内的故事,再念出来”这样需要多步调用工具的单句请求,只有多次请求才能实现;而ModelScopeGPT却可以执行得很好,同时速度也要快很多。 请问ModelScopeGPT所基于的LLM是什么呢?和modelscope-agent-7b同样是在Qwen-7B基础上微调的吗? 如果尚不能透露具体信息,也想了解一下底座模型以及参数规模是什么,期待您的回复!
ModelScopeGPT是基于一个更大规模的底座,目前的modelscope-agent-7b训练时候用的MSAgent-Bench数据集,这个数据集包含了很多通用的工具指令调用。我们预计下周会开放一个modelscope-agent-7b只在魔搭GPT相关的模型工具调用数据集上训练的版本,这样在魔搭相关模型调用上准确率会更高
MSAgent-Bench:https://modelscope.cn/datasets/damo/MSAgent-Bench/summary
感谢您的回复,我理解了,期待最新开发的版本~
还有一个问题是,我尝试在Swift框架的基础上微调一个Agent模型,阅读源码之后我理解模型的输入为完整的文本内容包括(system、user、assistant),而label为所有assistant内容,这是为什么呢?
输入里为什么依旧存在assistant的内容?如果我去掉这一部分会有什么影响吗?希望能够得到解答!谢谢!
还有就是Agent模型的微调可以直接用其他框架的SFT脚本吗?还是说在优化任务上是有区别的?
目前我们在做agent模型的训练,以及测评链路,后续会有文档以及教程,可以关注。到时候会发送到这里。
您好,我在本地测试基于modelscope-agent-7b作为大脑的Agent时,其效果与魔搭创空间上ModelScopeGPT的在线测试差距明显。
比如本地测试时模型并不能处理“写一个20字以内的故事,再念出来”这样需要多步调用工具的单句请求,只有多次请求才能实现;而ModelScopeGPT却可以执行得很好,同时速度也要快很多。
请问ModelScopeGPT所基于的LLM是什么呢?和modelscope-agent-7b同样是在Qwen-7B基础上微调的吗?
如果尚不能透露具体信息,也想了解一下底座模型以及参数规模是什么,期待您的回复!