Closed yshuai closed 4 months ago
messages
那里写错了,应该是 { "customFields": { "model":"deepseek-coder:6.7b", "stream": true}, "messageKeys": { "content": "content" }}
,详细参考一下文档:https://ide.unitmesh.cc/custom/llm-server#custom-llm-server-example
messages
那里写错了,应该是{ "customFields": { "model":"deepseek-coder:6.7b", "stream": true}, "messageKeys": { "content": "content" }}
,详细参考一下文档:https://ide.unitmesh.cc/custom/llm-server#custom-llm-server-example- 建议使用 stream 方式,非 stream 方式没有经过严格测试。
现在复制粘贴了你贴的数据试了一遍,也是报错的,我应该也测试过你说的这种情况。
你说的这个文档,我看了好几遍了,能正常返回数据,而且我还换了好几种匹配格式测试,request的格式我应该没写错。response的格式不管我怎么换,都是报错,返回的在字符串里面的格式可以正确格式化吗?
role
,看文档:https://ide.unitmesh.cc/custom/llm-server#custom-llm-server-example$.choices[0].delta.content
是 OpenAI 返回的,你可以找个在线工具测试一下:https://jsonpath.com
- request 里还是少了
role
,看文档:https://ide.unitmesh.cc/custom/llm-server#custom-llm-server-example- response 格式看上去不对吧?
$.choices[0].delta.content
是 OpenAI 返回的,你可以找个在线工具测试一下:https://jsonpath.com
以下steam:false
和steam:true
的结果一样,截图时截错了,就不改图了。
我从apifox测试的,role:user
时能正常访问,在autodev里面测的时候,就会报400错误。
使用role:role
时能返回数据,但是还是不能格式化。
我写的response的匹配没写错。$..content
和$.message.content
这俩匹配结果都是一样的。
你看一下,这个json字符串包裹在''
里面,格式正确吗?
你这个文档的Custom response format标题里面的response格式就是错的。
如果出错的时候,LLM 返回结果是在 '' 里的:
正确的错误返回应该是:Invalid sse format! 'Hello! xxxxxx'
。
如果 API 返回的信息都在 line
里,说明可能 '' 里可能是你的 LLM 返回的内容 —— 因为 LLM 复读了。 试试改完配置,再 New Chat
如果出错的时候,LLM 返回结果是在 '' 里的:
正确的错误返回应该是:
Invalid sse format! 'Hello! xxxxxx'
。如果 API 返回的信息都在
line
里,说明可能 '' 里可能是你的 LLM 返回的内容 —— 因为 LLM 复读了。 试试改完配置,再New Chat
多谢解答,解决了,改完配置后,重启了一遍ollama,然后再把 自定义响应类型
从 SSE
改成JSON
后,可以正常返回数据了。ollama 的stream只能用false,true就变成一个字一个字的回复了。
Describe the bug ollama的本地大模型返回的数据不能格式化
To Reproduce Steps to reproduce the behavior:
我在本地用ollama搭建了本地deepseek-coder:6.7b 模型
尝试用了apifox创建快捷请求测试接口![image](https://github.com/unit-mesh/auto-dev/assets/13953723/d1cc2a7d-baba-4a0d-ae97-487c98a21b94)
http://localhost:11434/api/chat
,可以正常返回数据。把消息数据写在messageKeys时会报错,不能正常返回数据。![image](https://github.com/unit-mesh/auto-dev/assets/13953723/b55489fc-528b-4997-9031-05f09fed7720)
把消息数据写在messages时能正常返回数据,但不能格式化。
5.我尝试了多种response的匹配格式,
$.message.content
和$..content
等等, 都不能格式化,我看到右侧的聊天记录里,返回数据被套了一层''
,不知道是不是返回格式有问题。相关版本信息: