插件是不支持ChatGlm3-6B模型吗？

[liuq29]

我插件配置好调用ChatGlm3-6B模型，调用报错： Error while reading SSE AutoDevHttpException(statusCode=422, message=okhttp3.internal.http.RealResponseBody@3c00aba4) at cc.unitmesh.devti.llms.azure.ResponseBodyCallback.onResponse(ResponseBodyCallback.kt:58) at okhttp3.internal.connection.RealCall$AsyncCall.run(RealCall.kt:504) at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1136) at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:635) at java.base/java.lang.Thread.run(Thread.java:833)

模型日志如下：

INFO: 10.199.6.133:59084 - "POST /v1/chat/completions HTTP/1.1" 200 OK INFO: 10.64.246.189:56881 - "POST /v1/chat/completions HTTP/1.1" 422 Unprocessable Entity

插件配置如下：

Custom Response Type：SSE Server：http://10.199.6.133:8000/v1/chat/completions Response Format：$.choices[0].delta.content Request Format：{ "customFields": {"model": "chatglm3-6b", "stream": true}, "messageKeys": {"role": "liu", "content": "content"} }

[phodal]

和模型无关，你写的 Server 可能参数不对，建议参考一下 debug 一下 422：

https://github.com/unit-mesh/auto-dev/blob/d65daaf937030bcbbfedff4c2cae171c530a241c/example/custom_llm_server/openai_proxy.py#L52-L57

看看你的 request body 对不对

[liuq29]

request看着也没啥问题呢： { "customFields": {"model": "chatglm3-6b", "stream": true}, "messageKeys": {"role": "liu", "content": "content"} }

[phodal]

但是，你的服务端返回了 422 Unprocessable Entity

[liuq29]

大佬，你微调后的这个大模型AutoDev Coder 6.7B在哪可以下载，需要多大显存的GPU，我想本地部署玩一下

[phodal]

huggingface，没有在本地试过

[phodal]

https://huggingface.co/unit-mesh