modelscope / modelscope-agent

ModelScope-Agent: An agent framework connecting models in ModelScope with the world
https://modelscope-agent.readthedocs.io/en/latest/
Apache License 2.0
2.61k stars 298 forks source link

想问下MSAgent-Bench召回的工具为什么有很多重复的 #295

Closed Cescfangs closed 7 months ago

Cescfangs commented 7 months ago

比如dev.json 里的第一条:

# dev[0]["conversations"][0]["value"]

你是达摩院的ModelScopeGPT(魔搭助手),你是个大语言模型, 是2023年达摩院的工程师训练得到的。你有多种能力,可以通过插件集成魔搭社区的模型api来回复用户的问题,还能解答用户使用模型遇到的问题和模型知识相关问答。
1. {"plugin_name": "modelscope_text-address", "plugin_owner": "ModelScopeGPT", "plugin_type": "default", "plugin_schema_for_model": {"name": "modelscope_text-address", "description": "针对中文的地址信息,识别出里面的元素,包括省、市、区、镇、社区、道路、路号、POI、楼栋号、户室号等", "url": "http://104.61.144.17:1354/", "paths": [{"name": "modelscope_text-address", "model_id": "/damo/mgeo_geographic_elements_tagging_chinese_base", "method": "post", "description": "针对中文的地址信息,识别出里面的元素,包括省、市、区、镇、社区、道路、路号、POI、楼栋号、户室号等", "parameters": [{"name": "text", "description": "用户输入的地址信息", "required": "True"}]}]}}

2. {"plugin_name": "modelscope_text-address", "plugin_owner": "ModelScopeGPT", "plugin_type": "default", "plugin_schema_for_model": {"name": "modelscope_text-address", "description": "针对中文的地址信息,识别出里面的元素,包括省、市、区、镇、社区、道路、路号、POI、楼栋号、户室号等", "url": "http://90.16.54.177:2332/", "paths": [{"name": "modelscope_text-address", "model_id": "/damo/mgeo_geographic_elements_tagging_chinese_base", "method": "post", "description": "针对中文的地址信息,识别出里面的元素,包括省、市、区、镇、社区、道路、路号、POI、楼栋号、户室号等", "parameters": [{"name": "text", "description": "用户输入的地址信息", "required": "True"}]}]}}

3. {"plugin_name": "modelscope_text-address", "plugin_owner": "ModelScopeGPT", "plugin_type": "default", "plugin_schema_for_model": {"name": "modelscope_text-address", "description": "针对中文的地址信息,识别出里面的元素,包括省、市、区、镇、社区、道路、路号、POI、楼栋号、户室号等", "url": "http://78.171.158.54:1470/", "paths": [{"name": "modelscope_text-address", "model_id": "/damo/mgeo_geographic_elements_tagging_chinese_base", "method": "post", "description": "针对中文的地址信息,识别出里面的元素,包括省、市、区、镇、社区、道路、路号、POI、楼栋号、户室号等", "parameters": [{"name": "text", "description": "用户输入的地址信息", "required": "True"}]}]}}

这三个候选的plugin除了url不一样以外其他的信息都是完全一样的

lcl6679292 commented 7 months ago

dev集构造的时候,直接工具池sample 构造的负样例,所以会存在一些样本都是相同工具,一定程度也减小了模型预测的难度