xusenlinzy
commented
6 months ago from openai import OpenAI
client = OpenAI(
api_key="EMPTY",
base_url="http://192.168.20.59:7891/v1/",
)
params = {
'messages': [{"role": "user", "content": "武汉天气怎么样？"}],
'model': 'chatglm3-6b',
'frequency_penalty': 0.0,
'function_call': {'name': 'agent_extract_data'},
'functions': [
{
'name': 'agent_extract_data',
'description': '你是一个天气查询助手。根据用户问题，提取出城市。注意不是简单的文本提取，而是上下文理解后的提取。如果用户问题中不包含城市则不提取。\n如果内容不存在，返回空字符串。',
'parameters': {
'type': 'object',
'properties': {
'city': {
'type': 'string',
'description': '城市'
}
},
'required': ['city']
}
}
],
'logit_bias': None,
'max_tokens': 1024,
'n': 1,
'presence_penalty': 0.0,
'response_format': None,
'seed': None,
'stop': [],
'temperature': 0.0,
'tool_choice': None,
'tools': None,
'top_p': 0.8,
'user': None,
'stream': False
}
print(client.chat.completions.create(**params).model_dump_json(indent=4))我这边的测试结果是正常的
{
"id": "cmpl-7c0fa3a2-8a0e-4d3e-8c52-e82c25516f88",
"choices": [
{
"finish_reason": "function_call",
"index": 0,
"message": {
"content": "agent_extract_data\n ```python\ntool_call(city='武汉')\n```",
"role": "assistant",
"function_call": {
"arguments": "{\"city\": \"武汉\"}",
"name": "agent_extract_data"
},
"tool_calls": null
}
}
],
"created": 1702173120,
"model": "chatglm3-6b",
"object": "chat.completion",
"system_fingerprint": null,
"usage": {
"completion_tokens": 23,
"prompt_tokens": 178,
"total_tokens": 201
}
}
leoterry-ulrica
fenglinbei
提交前必须检查以下项目 | The following items must be checked before submission
问题类型 | Type of problem
模型推理和部署 | Model inference and deployment
操作系统 | Operating system
Linux
详细描述问题 | Detailed description of the problem
Dependencies
运行日志或截图 | Runtime logs or screenshots
api-for-open-llm运行日志（提取不了城市名称）：
{'model': 'chatglm3-6b', 'frequency_penalty': 0.0, 'function_call': {'name': 'agent_extract_data'}, 'functions': [{'name': 'agent_extract_data', 'description': '你是一个天气查询助手。根据用户问题，提取出城市。注意不是简单的文本提取，而是上下文理解后的提取。如果用户问题中不包含城市则不提取。\n如果内容不存在，返回空字符串。', 'parameters': {'type': 'object', 'properties': {'city': {'type': 'string', 'description': '城市'}}, 'required': ['city']}}], 'logit_bias': None, 'max_tokens': 1024, 'n': 1, 'presence_penalty': 0.0, 'response_format': None, 'seed': None, 'stop': [], 'temperature': 0.0, 'tool_choice': None, 'tools': None, 'top_p': 0.8, 'user': None, 'stream': False,ChatGLM3官方启动运行日志（可准确提取到城市名称）