JianxinMa
commented
3 months ago 这是因为受到对话历史的干扰了，您现在给的历史是：
messages = [
{"role":"system","content":"### 你好！有什么我可以帮助你的吗？"},
{"role":"user","content":"帮我查下一下这首船的信息：477795600"},
{"role":"assistant","content":"这艘船的信息如下：\n\n- 船舶ID: 477795600\n- MMSI 号码: 477795600\n- IMO 编号: 9620293\n\n请注意，这些数据可能会有延迟。如果有其他具体问题或者需要更多的帮助，请随时告诉我。"},
{"role":"user","content":"帮我查下一下这首船的信息：227745780"}
]这个历史的里的用户问题是明显需要调用工具的，但是历史却没有function call的messages，直接就给了Assistant的回复。这会让模型认为“历史里我就是不调用工具回答的，那我回答新问题自然也不用调用工具”。
解决方法一：确保历史里该调用工具的历史都有对应的function call messages，比如
messages = [
{"role":"system","content":"### 你好！有什么我可以帮助你的吗？"},
{"role":"user","content":"帮我查下一下这首船的信息：477795600"},
{"role":"assistant","content": "", "function_call": ...}, ## 工具调用！！！
{"role":"function","content": ...}, ## 工具结果！！！
{"role":"assistant","content":"这艘船的信息如下：\n\n- 船舶ID: 477795600\n- MMSI 号码: 477795600\n- IMO 编号: 9620293\n\n请注意，这些数据可能会有延迟。如果有其他具体问题或者需要更多的帮助，请随时告诉我。"},
{"role":"user","content":"帮我查下一下这首船的信息：227745780"}
]解决方法二（不一定稳定）：使用function_choice（又名tool_choice）功能向模型强调要调用工具：https://github.com/QwenLM/Qwen-Agent/blob/main/examples/function_calling.py#L76
812781385
我使用from qwen_agent.llm import get_chat_model时候，调用模型，如果messages里有历史，则无法命中functioncall，这是为啥？ 使用如下：
同样的数据发送会频繁出现不同的结果：
代码片段： client = get_chat_model({ 'model': 'qwen:32b', 'model_server': 'http://127.0.0.1:11434/v1' }) messages = [ {"role":"system","content":"### 你好！有什么我可以帮助你的吗？"}, {"role":"user","content":"帮我查下一下这首船的信息：477795600"}, {"role":"assistant","content":"这艘船的信息如下：\n\n- 船舶ID: 477795600\n- MMSI 号码: 477795600\n- IMO 编号: 9620293\n\n请注意，这些数据可能会有延迟。如果有其他具体问题或者需要更多的帮助，请随时告诉我。"}, {"role":"user","content":"帮我查下一下这首船的信息：227745780"} ]
res_stream = [] for res_stream in client.chat( messages=messages, functions=tools, stream=True ): print(res_stream)
第一次结果： [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get', 'arguments': ''}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': ''}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': ''}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': ''}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': ''}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"m'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mms'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi":'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "2'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "22'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "227'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "2277'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "22774'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "227745'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "2277457'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "22774578'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "227745780'}}] [{'role': 'assistant', 'content': '', 'function_call': {'name': 'get_ship', 'arguments': '{"mmsi": "227745780"}'}}]
第二次结果： [{'role': 'assistant', 'content': '我'}] [{'role': 'assistant', 'content': '我需要'}] [{'role': 'assistant', 'content': '我需要更多信息'}] [{'role': 'assistant', 'content': '我需要更多信息才能'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如M'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMS'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、IMO'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、IMO编号'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、IMO编号或者'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、IMO编号或者具体的'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、IMO编号或者具体的船'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、IMO编号或者具体的船名'}] [{'role': 'assistant', 'content': '我需要更多信息才能查询船舶的详细资料，如MMSI号码、IMO编号或者具体的船名。'}]